第1章爬虫入门

1、爬虫入门：什么是网络爬虫、爬虫的应用场景、爬虫的法律与道德边界、爬虫的基本工作流程

1.1 到底什么是网络爬虫？

说白了，网络爬虫就是一个自动化的“网页搬运工”。

你平时手动打开浏览器，看到感兴趣的内容，复制粘贴到本地——这就是最原始的“爬虫”。只不过，爬虫程序把这个过程自动化了。它替你点击、替你浏览、替你保存。

我个人的理解更简单：爬虫就是让计算机模拟人的上网行为，批量获取网页数据。

举个例子。你想收集某电商平台1000件商品的价格。手动打开1000个页面？手会断。写个爬虫，半小时搞定。嗯，这就是爬虫的价值。

从技术角度看，爬虫的核心就三步：

发送请求——告诉服务器“我要看这个页面”
解析响应——从返回的HTML里提取你需要的数据
存储数据——把数据存到Excel、数据库或者直接打印出来

我在项目中遇到过不少新手，一上来就研究什么分布式爬虫、异步框架。其实没必要。先搞懂最基础的请求-响应模型，比什么都强。

1.2 爬虫能干什么？应用场景一览

爬虫的应用场景，比你想象的要广得多。我随便列几个：

场景	具体用途	我见过的一个真实案例
价格监控	跟踪竞品价格变动，自动调价	某电商卖家每天爬取对手价格，动态调整自己的售价
舆情分析	抓取社交媒体评论，分析用户情绪	某品牌在新品发布后，24小时内爬取全网评价
数据采集	收集公开数据集用于训练AI模型	我帮一个团队爬过10万条法律文书，做文本分类
内容聚合	把多个网站的信息整合到一个平台	新闻聚合类App，背后全是爬虫在跑
自动化测试	模拟用户操作，检测网站功能	RPA爬虫常用于回归测试，比人工快10倍

你想想看，只要是公开的网页数据，理论上都能用爬虫获取。但注意，我说的是“理论上”。

1.3 爬虫的法律与道德边界——这条红线不能碰

这个话题我必须认真说。我见过太多人因为不懂法律，把自己搞进了麻烦。

⚠️ 法律红线：

robots.txt协议——虽然它不是法律强制，但法院判例中经常引用。网站说“禁止爬取”，你硬爬，输了官司别喊冤。
个人隐私数据——身份证号、手机号、家庭住址，这些数据碰都不要碰。《个人信息保护法》不是闹着玩的。
有版权的内容——比如付费文章、独家图片。你爬了还商用？等着收律师函吧。
突破反爬措施——绕过登录验证、破解验证码，这些行为可能构成“非法获取计算机信息系统数据罪”。

我曾经帮一个朋友看过他的爬虫项目。他爬了一个招聘网站的用户简历——全是公开的。但问题是，他把这些简历打包卖给了猎头公司。嗯，后来他收到了法院传票。公开数据≠可以商用，这个逻辑一定要搞清楚。

💡 我的个人建议：

只爬取公开的、非敏感的数据
遵守网站的robots.txt规则
控制爬取频率，别把人家服务器搞崩了
爬下来的数据不要直接商用，除非你确认版权没问题

1.4 爬虫的基本工作流程——一张图说清楚

爬虫的工作流程，其实就五个环节。我习惯用“请求-解析-提取-存储-循环”来记忆。

发起请求——用HTTP库（比如Python的requests）向目标URL发送请求，获取网页的HTML源码。
解析内容——把拿到的HTML解析成结构化数据。常用的工具有BeautifulSoup、lxml、正则表达式。
提取数据——从解析后的文档中，精准定位到你需要的字段。比如商品名称、价格、销量。
存储数据——把提取到的数据写入文件（CSV、JSON）或数据库（MySQL、MongoDB）。
循环翻页——找到“下一页”的链接，重复1-4步，直到爬完所有页面。

来，看一个最简单的代码示例。这是用Python写的入门级爬虫：

import requests
from bs4 import BeautifulSoup

# 1. 发起请求
url = "https://example.com/products"
response = requests.get(url)

# 2. 解析内容
soup = BeautifulSoup(response.text, "html.parser")

# 3. 提取数据
products = soup.find_all("div", class_="product-item")
for product in products:
    name = product.find("h2").text.strip()
    price = product.find("span", class_="price").text.strip()
    print(f"商品：{name}，价格：{price}")

# 4. 存储数据（这里简单打印，实际可以写入文件）
# 5. 循环翻页（略）

这段代码虽然简单，但五脏俱全。你把它跑通了，爬虫的骨架就有了。

🔑 核心要点：

爬虫的本质就是“模拟请求 + 解析响应”。别被各种花哨的框架吓到。我刚开始学爬虫时，就用requests和BeautifulSoup写了半年。基础打牢了，后面学Scrapy、Selenium都是水到渠成的事。

为什么会有人觉得爬虫难？说白了，不是技术难，而是反爬手段越来越多了。但别怕，后面几章我会带你一个个破解。