开发环境搭建:工欲善其事,必先利其器
说实话,我见过太多同学在环境配置上栽跟头。明明代码逻辑没问题,结果跑起来全是「ModuleNotFoundError」或者「CUDA out of memory」。嗯,这其实不是你的问题,是环境没搭好。今天我就带你一步步把开发环境整利索。
核心要点:一个干净、可复现的开发环境,能让你少走至少30%的弯路。我自己的习惯是,每个项目都单独建一个虚拟环境,互不干扰。
Python环境配置:选对版本很重要
Python版本这事儿,我踩过坑。曾经有个项目,我用了Python 3.11,结果某个金融库死活装不上,最后发现它只支持到3.9。所以,我建议你直接用Python 3.9或3.10,这两个版本对大多数金融大模型库兼容性最好。
怎么装?去官网下载安装包就行。但注意一点:安装时记得勾选「Add Python to PATH」。不然你后面在命令行敲python,系统会一脸懵。
小技巧:装完后在终端输入 python --version 和 pip --version,确认版本号。如果显示的不是你装的版本,八成是PATH没配好。
Anaconda安装与使用:环境管理的瑞士军刀
我个人习惯用Anaconda来管理Python环境。为什么?因为它能帮你隔离不同项目的依赖。你想想看,项目A需要PyTorch 1.12,项目B需要PyTorch 2.0,如果没有虚拟环境,这两个版本会打架打到头破血流。
安装Anaconda很简单,去官网下载对应系统的安装包,一路下一步就行。装完后,你会得到一个叫 conda 的命令行工具。
常用的几个命令,我列出来:
# 创建一个新环境,指定Python版本
conda create -n fintech_llm python=3.9
# 激活环境
conda activate fintech_llm
# 安装包
conda install numpy pandas
# 查看已有环境
conda env list
# 退出环境
conda deactivate
注意:创建环境时,名字别用中文。我曾经手贱用了中文名,结果后面各种路径报错,折腾了一下午才搞定。
CUDA与PyTorch安装:GPU加速的关键
做金融大模型,数据量动不动就是几百万条。没有GPU加速,你训练一个模型可能要等三天三夜。所以,CUDA和PyTorch的安装是重中之重。
首先,你得确认你的电脑有没有NVIDIA显卡。打开任务管理器,看看「性能」选项卡里有没有「GPU」这一项。如果有,记下它的型号。
然后,去NVIDIA官网下载对应显卡驱动。驱动装好后,在终端输入 nvidia-smi,你会看到类似这样的输出:
+-----------------------------------------------------------------------------+
| NVIDIA-SMI 525.85.05 Driver Version: 525.85.05 CUDA Version: 12.0 |
+-----------------------------------------------------------------------------+
注意看「CUDA Version」那一行。这个版本号决定了你能装哪个版本的PyTorch。比如CUDA 12.0,就可以装PyTorch 2.0以上的版本。
安装PyTorch,我建议去它的官网(pytorch.org)用那个命令生成器。选好你的配置,它会给你一条命令,直接复制粘贴就行。比如:
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118
验证是否装好:在Python里运行下面代码,如果返回True,说明GPU可用。
import torch
print(torch.cuda.is_available()) # 应该输出 True
避坑指南:我曾经在服务器上装PyTorch,忘了看CUDA版本,结果装了个不匹配的,跑模型时一直报「CUDA error: no kernel image is available」。后来才发现是版本对不上。所以,一定要先看nvidia-smi的CUDA版本,再选PyTorch版本。
Hugging Face Transformers库安装:大模型的入口
Hugging Face的Transformers库,说白了就是大模型的「淘宝」。你想用的BERT、GPT、LLaMA,这里基本都有。安装它很简单:
pip install transformers
但光装这个还不够。你还需要装它的「好搭档」——datasets和accelerate:
pip install datasets accelerate
datasets用来加载各种数据集,accelerate用来加速训练。这三个库加在一起,基本覆盖了从数据到模型到训练的完整流程。
装完后,你可以跑个简单的测试:
from transformers import pipeline
# 加载一个情感分析模型
classifier = pipeline("sentiment-analysis")
result = classifier("I love this course!")
print(result) # 应该输出 [{'label': 'POSITIVE', 'score': 0.999...}]
如果没报错,恭喜你,环境基本搭好了。
Jupyter Notebook配置:交互式开发的利器
做金融数据分析,我几乎离不开Jupyter Notebook。它让你能边写代码边看结果,特别适合探索性分析。
安装Jupyter很简单:
pip install jupyter
然后启动:
jupyter notebook
它会自动打开浏览器,你就能看到熟悉的界面了。但这里有个坑——默认的Jupyter用的是base环境。如果你在虚拟环境里装了一堆包,Jupyter里可能找不到。
解决办法是装一个叫 ipykernel 的东西:
# 先激活你的虚拟环境
conda activate fintech_llm
# 安装ipykernel
pip install ipykernel
# 把当前环境注册到Jupyter
python -m ipykernel install --user --name=fintech_llm --display-name "Fintech LLM"
这样,你再打开Jupyter,新建Notebook时就能看到「Fintech LLM」这个内核选项了。
个人习惯:我一般会在Jupyter里装一个叫 jupyter_contrib_nbextensions 的插件包,它能加很多实用功能,比如代码折叠、自动补全、目录生成。装法很简单:pip install jupyter_contrib_nbextensions,然后重启Jupyter就行。
本章知识体系总览
下面这张图,帮你把整个开发环境搭建的流程串起来。你可以把它当成一个「检查清单」,每完成一步就打个勾。
这张图从左到右,从上到下,就是完整的搭建流程。每一步都依赖上一步,所以别跳着来。我见过有人直接装PyTorch,结果发现CUDA没装,又回头去装驱动,白白浪费时间。
最后说一句:环境搭建这事儿,一次配好,后面能省无数心。别嫌麻烦,慢慢来。等你把上面所有步骤都走完,再跑起第一个模型时,那种成就感,值得。