第2章:环境准备与工具链
说实话,很多人在法律AI这条路上半途而废,不是因为学不会,而是卡在了环境搭建这一步。我见过太多人兴致勃勃想跑个模型,结果装个包就报错,折腾一整天心态崩了。
这一章,我带你把这套工具链捋顺。跟着我的节奏来,半小时内搞定。
2.1 Python环境搭建
Python是玩大模型的基础语言。目前最稳妥的版本是Python 3.8到3.11之间。我个人习惯用3.10,兼容性最好。
下载地址:python.org
安装时记得勾选「Add Python to PATH」。这个选项很多人会漏掉,我当初也吃过这个亏——装完发现命令行里打不出python,还得手动配环境变量,麻烦得很。
python --version
pip --version
如果能看到版本号,说明安装成功。
2.2 Anaconda安装
Anaconda是个环境管理神器。说白了,它让你能在一台电脑上同时维护多个Python环境,互不干扰。
比如你同时做两个项目:一个用Python 3.8 + PyTorch 1.12,另一个用Python 3.10 + PyTorch 2.0。没有Anaconda的话,这两个环境会打架。有了它,各玩各的,清爽得很。
安装完成后,我建议你立刻创建一个专门用于法律大模型的环境:
conda create -n legal_ai python=3.10
conda activate legal_ai
为什么要单独建环境?因为法律大模型依赖的库版本比较特殊,跟其他项目混在一起容易出问题。我在项目中就遇到过,一个旧项目的TensorFlow把新项目的PyTorch给覆盖了,排查了半天才发现是环境冲突。
2.3 Jupyter Notebook配置
Jupyter Notebook是交互式编程的利器。你写一行代码,立刻能看到结果,非常适合做实验和调试。
安装很简单:
pip install jupyter notebook
启动:
jupyter notebook
浏览器会自动打开一个页面,默认地址是 http://localhost:8888。你可以在里面新建Python文件,边写边跑。
conda activate legal_ai
pip install ipykernel
python -m ipykernel install --user --name=legal_ai
这样在Jupyter里新建文件时,就能选择legal_ai这个内核了。
2.4 Hugging Face库安装
Hugging Face是当前最流行的自然语言处理库。法律大模型里用到的BERT、GPT、LLaMA等模型,基本都能在Hugging Face上找到。
安装核心库:
pip install transformers
pip install datasets
pip install accelerate
这三个库各司其职:
| 库名 | 作用 |
|---|---|
| transformers | 加载和运行预训练模型 |
| datasets | 管理和处理数据集 |
| accelerate | 加速训练和推理 |
安装完成后,可以跑个简单测试,看看能不能正常加载模型:
from transformers import pipeline
classifier = pipeline("text-classification", model="nlptown/bert-base-multilingual-uncased-sentiment")
result = classifier("这个判决很公正")
print(result)
如果没报错,说明环境已经通了。我曾经遇到过一个问题——transformers装好了,但跑代码时提示缺少tokenizers。这是因为某些依赖包没有自动安装。解决办法是手动补上:
pip install tokenizers
2.5 GPU环境检查
大模型训练和推理,GPU是标配。没有GPU,跑个BERT都费劲。所以这一步必须确认你的机器能不能用GPU。
如果你用的是NVIDIA显卡,先安装CUDA和cuDNN。具体版本要看你的显卡型号和PyTorch版本。我建议直接去PyTorch官网(pytorch.org)选对应的安装命令。
安装完成后,用以下代码检查:
import torch
print(torch.cuda.is_available()) # 返回True表示GPU可用
print(torch.cuda.device_count()) # GPU数量
print(torch.cuda.get_device_name(0)) # GPU型号
如果你用的是Mac M1/M2芯片,可以用MPS加速:
print(torch.backends.mps.is_available())
没有GPU怎么办?别急,你可以用Google Colab或者阿里云的免费GPU资源。虽然速度慢点,但学习阶段完全够用。
2.6 知识体系总览
下面这张图,把本章的核心逻辑串起来了:
这张图把整个环境准备流程串起来了。你从Python开始,用Anaconda管理环境,在Jupyter里写代码,通过Hugging Face调用模型,最后用GPU加速。每一步都是下一环的基础。
嗯,到这里,你的开发环境就搭好了。接下来就可以真正开始玩法律大模型了。
公众号:蓝海资料掘金营,微信deep3321