第3章环境搭建与工具准备

3、环境搭建与工具准备：Python环境配置、虚拟环境创建、必备库安装

说实话，做数据抓取这件事，最怕的不是反爬虫，而是环境没搭好。

我见过太多新手，代码写好了，一运行报错「ModuleNotFoundError」，然后整个人就懵了。其实说白了，环境搭建就像盖房子打地基——地基歪了，后面全白搭。这一章，我就带你一步步把地基夯实。

我个人习惯用 Python 3.8 以上的版本。为什么？因为很多新库已经放弃对 3.6 的支持了。你想想看，好不容易装个库，结果告诉你「Python 版本太低」，多闹心。

第一步：下载安装

去 Python 官网下载对应系统的安装包。Windows 用户记得勾选「Add Python to PATH」——这个选项我当年第一次装的时候就漏了，结果在命令行里怎么敲 python 都提示找不到，折腾了半小时才发现是路径没加进去。

第二步：验证安装

打开终端（Windows 用 cmd 或 PowerShell，Mac/Linux 用 Terminal），输入：

python --version

如果看到类似 Python 3.9.7 的输出，说明安装成功。

小提示： 如果你电脑上同时有 Python 2 和 Python 3，可以用 python3 命令来指定使用 Python 3。

为什么要用虚拟环境？我举个例子你就明白了。

你手上有两个项目：项目 A 用 requests 2.25，项目 B 用 requests 2.26。如果不隔离，你装了一个版本，另一个项目可能就崩了。虚拟环境就是给每个项目一个独立的「小房间」，互不干扰。

创建虚拟环境

Python 3.3 以上自带 venv 模块，不需要额外安装。在项目目录下执行：

python -m venv social_env

这条命令会创建一个叫 social_env 的文件夹，里面就是独立的 Python 环境。

激活虚拟环境

Windows 系统：

social_env\Scripts\activate

Mac/Linux 系统：

source social_env/bin/activate

激活后，终端前面会出现 (social_env) 的标识，说明你现在就在虚拟环境里了。

注意： 我曾经犯过一个低级错误——在虚拟环境里装了一堆库，然后忘了激活环境就直接跑代码，结果报错说找不到库。嗯，这里要提醒你：每次打开新终端，记得先激活虚拟环境。

接下来就是装「武器」了。我们的课程主要用到以下几个库：

安装命令很简单，在激活的虚拟环境里执行：

pip install requests beautifulsoup4 selenium tweepy pandas

如果你网速慢，可以换成国内镜像源，比如清华的：

pip install -i https://pypi.tuna.tsinghua.edu.cn/simple requests beautifulsoup4 selenium tweepy pandas

  核心要点： 安装完成后，可以用 pip list 查看已安装的库列表，确认所有库都装上了。

为了让你对整个环境搭建有个全局认识，我画了一张流程图：

这张图把整个环境搭建的流程串起来了。从 Python 安装开始，到虚拟环境隔离，再到按需安装不同用途的库。说白了，你只要按这个流程走一遍，后面写代码就不会再被环境问题卡住。

装完库之后，我建议你写个简单的测试脚本，确认一切正常：

import requests
from bs4 import BeautifulSoup
import selenium
import tweepy
import pandas as pd

print("所有库导入成功！环境就绪。")

保存为 test_env.py，然后在终端运行：

python test_env.py

如果看到「所有库导入成功！环境就绪。」，恭喜你，环境搭建完成。

避坑指南： 我曾经在 Mac 上装 Selenium 时遇到权限问题，后来发现是 pip 版本太旧。升级一下 pip 就好了：pip install --upgrade pip。

好了，环境搭好了，后面我们就可以放心地写代码了。记住，磨刀不误砍柴工，这一步花点时间，后面会省很多事。

公众号:蓝海资料掘金营，微信deep3321