2、环境搭建：Python环境配置、Requests库安装、BeautifulSoup库安装、Selenium库安装、Scrapy框架安装

好，咱们正式开始动手了。

说实话，我见过太多人卡在环境搭建这一步。明明代码逻辑没问题，一运行就报错，最后发现是库没装对。所以这一章，我带你一步步把地基打牢。

2.1 Python环境配置

爬虫开发，Python 3.8以上版本基本够用。我个人习惯用Python 3.10，稳定且兼容性好。

第一步：下载Python

去官网 python.org 下载对应系统的安装包。Windows用户记得勾选「Add Python to PATH」——这个坑我踩过，不勾选的话，后面命令行里敲python会提示找不到命令。

第二步：验证安装

打开终端（Windows用cmd或PowerShell，Mac/Linux用终端），输入：

python --version

如果显示 Python 3.10.x，说明安装成功。

小技巧： 我习惯用 python3 而不是 python，尤其在Mac上，系统自带的Python 2和Python 3容易混淆。直接用 python3 最保险。

2.2 虚拟环境（强烈推荐）

为什么要用虚拟环境？说白了，就是隔离项目依赖。你想想看，项目A用Requests 2.25，项目B用Requests 2.28，如果全局安装，冲突了怎么办？

创建虚拟环境：

python -m venv spider_env

激活虚拟环境：

  • Windows: spider_env\Scripts\activate
  • Mac/Linux: source spider_env/bin/activate

激活后，终端前面会出现 (spider_env) 字样。嗯，看到这个就对了。

注意： 我曾经在没激活虚拟环境的情况下直接装库，结果把系统Python搞崩了。从那以后，我每次开新项目第一件事就是建虚拟环境。

2.3 Requests库安装

Requests是Python最常用的HTTP库。说白了，它就是帮我们发送网络请求、获取网页内容的工具。

安装命令：

pip install requests

验证安装：

python -c "import requests; print(requests.__version__)"

如果输出版本号，比如 2.31.0，就说明装好了。

个人经验： 我在项目中遇到过一个问题——用Requests请求某些网站时，返回的状态码是403。后来发现是缺少User-Agent头。加一行 headers = {'User-Agent': 'Mozilla/5.0'} 就解决了。

2.4 BeautifulSoup库安装

Requests负责拿数据，BeautifulSoup负责解析数据。它能把杂乱的HTML变成一棵清晰的树，方便我们提取想要的内容。

安装命令：

pip install beautifulsoup4

注意，是 beautifulsoup4，不是 beautifulsoup。早期版本是3，现在都用4了。

验证安装：

python -c "from bs4 import BeautifulSoup; print('OK')"

如果输出 OK，说明安装成功。

搭配使用： 我通常还会装一个 lxml 解析器，速度更快。命令：pip install lxml。然后在代码里用 BeautifulSoup(html, 'lxml')。

2.5 Selenium库安装

有些网站是动态加载的，比如滚动页面才出现新内容，或者点击按钮才弹出数据。这时候Requests+BeautifulSoup就无能为力了。Selenium可以模拟真实浏览器操作，像个真人一样点击、滚动、输入。

安装命令：

pip install selenium

但光装Selenium还不够，你还需要一个浏览器驱动。以Chrome为例：

  1. 查看你的Chrome版本（设置 → 关于Chrome）
  2. 去 chromedriver.chromium.org 下载对应版本的驱动
  3. 把驱动放到Python安装目录，或者项目目录下

验证安装：

python -c "from selenium import webdriver; print('OK')"
避坑指南： 我曾经因为Chrome自动更新了，但驱动没更新，导致Selenium报错。后来我改用 webdriver-manager 这个库，它会自动匹配驱动版本。安装命令：pip install webdriver-manager。

2.6 Scrapy框架安装

Scrapy是一个完整的爬虫框架。如果说Requests是手动挡，那Scrapy就是自动挡——它帮你处理了并发、调度、去重、数据存储等一系列问题。

安装命令：

pip install scrapy

验证安装：

scrapy version

如果输出版本号，比如 2.11.0，就说明装好了。

个人建议： 初学者可以先从Requests+BeautifulSoup入手，等熟悉了爬虫的基本流程，再学Scrapy。我刚开始就是直接上Scrapy，结果被它的配置文件、中间件、管道搞得一头雾水。后来老老实实从Requests开始，反而学得更快。

2.7 环境验证总检查

最后，我们来个一键验证。新建一个Python文件，写入以下代码：

import requests
from bs4 import BeautifulSoup
from selenium import webdriver
import scrapy

print("Requests版本:", requests.__version__)
print("BeautifulSoup: OK")
print("Selenium: OK")
print("Scrapy版本:", scrapy.__version__)

运行后如果全部输出正常，恭喜你，环境搭建完成！

小贴士： 我习惯把常用的库写到一个 requirements.txt 文件里，下次换电脑或重装系统时，一行 pip install -r requirements.txt 就能全部装好。内容如下：
requests==2.31.0
beautifulsoup4==4.12.2
selenium==4.15.0
scrapy==2.11.0

好了，环境搭好了，下一章咱们就开始写第一个爬虫。说实话，看到这里你已经迈出了最重要的一步——很多人连环境都没搭就放弃了。你不一样，你坚持下来了。

← 上一章 📖 返回目录 下一章 →