2. Python ETL环境搭建：Anaconda安装、虚拟环境管理、常用库安装
说实话，做金融数据ETL这么多年，我见过太多人在环境搭建上栽跟头。有的同事装了一下午的库，最后发现版本冲突；有的直接把系统Python搞崩了，重装了系统。嗯，这些坑我都踩过。所以这一章，咱们把环境搭建这件事彻底说清楚。
核心要点：一个干净、可复现的Python环境，是ETL流程自动化的基石。别小看这一步，它能帮你省下80%的排错时间。
2.1 为什么选Anaconda？
你可能会问：「直接用系统Python不行吗？」当然可以。但我在项目中遇到过一个问题——不同项目依赖的库版本打架。比如项目A需要pandas 1.3，项目B需要pandas 2.0，装完一个另一个就崩了。
Anaconda的好处就是：它自带了一个包管理器conda，能帮你隔离环境。说白了，就是给每个项目一个独立的「小房间」，互不干扰。
我个人习惯用Miniconda而不是完整版Anaconda。为什么？完整版Anaconda预装了150多个库，大部分你用不上。Miniconda只有Python和conda，轻量干净，想装什么自己加。你想想看，金融数据ETL常用的库其实就那几个，没必要背着一堆用不上的东西。
| 特性 | Anaconda | Miniconda |
|---|---|---|
| 安装包大小 | 约500MB | 约50MB |
| 预装库数量 | 150+ | 仅Python + conda |
| 适用场景 | 新手、全栈数据科学 | 有经验的开发者、定制化需求 |
| 磁盘占用 | 约3GB | 约200MB |
我的建议：如果你是第一次接触Python环境管理，用Miniconda就够了。别被「完整版」三个字忽悠了，轻装上阵才是王道。
2.2 安装Anaconda/Miniconda
安装过程其实很简单，但有几个细节要注意。我曾经因为安装路径带了中文，结果conda死活找不到环境，折腾了一下午。
Windows用户：
- 去官网下载Miniconda安装包（选Python 3.9+版本）
- 双击安装，一路Next
- 关键一步：勾选「Add Miniconda to my PATH environment variable」
- 安装路径不要有中文，不要有空格
macOS/Linux用户：
# 下载安装脚本
wget https://repo.anaconda.com/miniconda/Miniconda3-latest-Linux-x86_64.sh
# 运行安装
bash Miniconda3-latest-Linux-x86_64.sh
# 按提示操作，最后选择yes初始化conda安装完成后，打开终端（或Anaconda Prompt），输入 conda --version，能看到版本号就说明装好了。
注意：安装过程中如果提示「是否将conda初始化添加到.bashrc」，建议选yes。不然每次都要手动source，很麻烦。
2.3 虚拟环境管理——你的项目隔离神器
虚拟环境这东西，说白了就是给每个项目一个独立的Python解释器和库集合。我刚开始做ETL时不懂这个，所有项目共用一套环境，结果某天升级了requests库，把另一个项目的API调用搞崩了。从那以后，我每个项目都建独立环境。
常用命令一览：
| 操作 | 命令 | 说明 |
|---|---|---|
| 创建环境 | conda create -n etl_env python=3.9 |
-n后面是环境名，可以自定义 |
| 激活环境 | conda activate etl_env |
进入该环境 |
| 退出环境 | conda deactivate |
回到base环境 |
| 查看所有环境 | conda env list |
带*的是当前环境 |
| 删除环境 | conda remove -n etl_env --all |
彻底删除，不留痕迹 |
| 导出环境 | conda env export > environment.yml |
分享给队友用 |
| 导入环境 | conda env create -f environment.yml |
一键复现环境 |
实战建议：每个ETL项目都建一个独立环境。命名规则我推荐：项目名_env，比如 stock_etl_env、fund_data_env。这样一看就知道是哪个项目。
2.4 常用库安装——ETL三剑客
做金融数据ETL，有三个库你绕不开：pandas、sqlalchemy、requests。我管它们叫「ETL三剑客」。
2.4.1 pandas——数据处理的瑞士军刀
pandas在ETL里主要干三件事：读取数据、清洗数据、输出数据。我在项目中用它处理过几千万行的交易流水，性能还不错。
# 安装pandas
conda install pandas
# 或者用pip（如果conda源里没有最新版）
pip install pandas安装完成后，验证一下：
python -c "import pandas; print(pandas.__version__)"能看到版本号，比如1.5.3，就说明装好了。
2.4.2 sqlalchemy——数据库的万能钥匙
ETL流程里，数据经常要从数据库里取，处理完再写回去。sqlalchemy就是干这个的。它支持MySQL、PostgreSQL、SQLite、Oracle等主流数据库。
# 安装sqlalchemy
conda install sqlalchemy
# 如果要用MySQL，还需要装驱动
conda install pymysql
# 如果要用PostgreSQL
conda install psycopg2避坑指南：我曾经直接用sqlalchemy连MySQL，结果报错说找不到驱动。后来才发现，sqlalchemy只是个ORM框架，真正连数据库还需要装对应的驱动。pymysql连MySQL，psycopg2连PostgreSQL，别搞混了。
2.4.3 requests——HTTP请求的标配
金融数据很多来自API接口，比如股票行情、基金净值、宏观经济指标。requests就是用来发HTTP请求的。
# 安装requests
conda install requests
# 或者
pip install requests简单测试一下：
python -c "import requests; r = requests.get('https://api.github.com'); print(r.status_code)"返回200就说明网络通、库正常。
2.5 知识体系总览
下面这张图，是我梳理的本章知识结构。你看一眼就能明白整个环境搭建的逻辑。
2.6 环境验证——确保一切就绪
装完别急着走，跑个完整的验证脚本，确保所有组件都能正常工作。
# 创建一个测试脚本 test_env.py
import pandas as pd
import sqlalchemy
import requests
print(f"pandas版本: {pd.__version__}")
print(f"sqlalchemy版本: {sqlalchemy.__version__}")
print(f"requests版本: {requests.__version__}")
# 测试pandas基本功能
df = pd.DataFrame({'A': [1, 2, 3], 'B': [4, 5, 6]})
print("pandas测试通过:", df.shape)
# 测试requests
r = requests.get('https://httpbin.org/get')
print(f"requests测试通过: 状态码 {r.status_code}")
# 测试sqlalchemy连接（以SQLite为例）
from sqlalchemy import create_engine
engine = create_engine('sqlite:///:memory:')
print("sqlalchemy测试通过: 引擎创建成功")运行 python test_env.py，如果所有测试都通过，恭喜你，环境搭建完成！
我的经验：这个验证脚本我每次搭建新环境都会跑一遍。别嫌麻烦，它能帮你提前发现80%的潜在问题。比如有一次我忘了装pymysql，跑脚本时sqlalchemy那步就报错了，及时补上，省得后面调试半天。
好了，环境搭好了，下一章咱们就开始真正动手写ETL代码了。记住：好的开始是成功的一半，一个干净的环境能让你少走很多弯路。