第2章:环境准备与工具链

说实话,很多人在法律AI这条路上半途而废,不是因为学不会,而是卡在了环境搭建这一步。我见过太多人兴致勃勃想跑个模型,结果装个包就报错,折腾一整天心态崩了。

这一章,我带你把这套工具链捋顺。跟着我的节奏来,半小时内搞定。

2.1 Python环境搭建

Python是玩大模型的基础语言。目前最稳妥的版本是Python 3.8到3.11之间。我个人习惯用3.10,兼容性最好。

下载地址:python.org

安装时记得勾选「Add Python to PATH」。这个选项很多人会漏掉,我当初也吃过这个亏——装完发现命令行里打不出python,还得手动配环境变量,麻烦得很。

小技巧:安装完成后,打开终端(Windows用cmd或PowerShell,Mac/Linux用终端),输入以下命令验证:
python --version
pip --version
如果能看到版本号,说明安装成功。

2.2 Anaconda安装

Anaconda是个环境管理神器。说白了,它让你能在一台电脑上同时维护多个Python环境,互不干扰。

比如你同时做两个项目:一个用Python 3.8 + PyTorch 1.12,另一个用Python 3.10 + PyTorch 2.0。没有Anaconda的话,这两个环境会打架。有了它,各玩各的,清爽得很。

下载地址:anaconda.com/download

安装完成后,我建议你立刻创建一个专门用于法律大模型的环境:

conda create -n legal_ai python=3.10
conda activate legal_ai

为什么要单独建环境?因为法律大模型依赖的库版本比较特殊,跟其他项目混在一起容易出问题。我在项目中就遇到过,一个旧项目的TensorFlow把新项目的PyTorch给覆盖了,排查了半天才发现是环境冲突。

2.3 Jupyter Notebook配置

Jupyter Notebook是交互式编程的利器。你写一行代码,立刻能看到结果,非常适合做实验和调试。

安装很简单:

pip install jupyter notebook

启动:

jupyter notebook

浏览器会自动打开一个页面,默认地址是 http://localhost:8888。你可以在里面新建Python文件,边写边跑。

核心配置:为了让Jupyter Notebook使用我们刚创建的legal_ai环境,需要安装ipykernel:
conda activate legal_ai
pip install ipykernel
python -m ipykernel install --user --name=legal_ai
这样在Jupyter里新建文件时,就能选择legal_ai这个内核了。

2.4 Hugging Face库安装

Hugging Face是当前最流行的自然语言处理库。法律大模型里用到的BERT、GPT、LLaMA等模型,基本都能在Hugging Face上找到。

安装核心库:

pip install transformers
pip install datasets
pip install accelerate

这三个库各司其职:

库名 作用
transformers 加载和运行预训练模型
datasets 管理和处理数据集
accelerate 加速训练和推理

安装完成后,可以跑个简单测试,看看能不能正常加载模型:

from transformers import pipeline
classifier = pipeline("text-classification", model="nlptown/bert-base-multilingual-uncased-sentiment")
result = classifier("这个判决很公正")
print(result)

如果没报错,说明环境已经通了。我曾经遇到过一个问题——transformers装好了,但跑代码时提示缺少tokenizers。这是因为某些依赖包没有自动安装。解决办法是手动补上:

pip install tokenizers

2.5 GPU环境检查

大模型训练和推理,GPU是标配。没有GPU,跑个BERT都费劲。所以这一步必须确认你的机器能不能用GPU。

如果你用的是NVIDIA显卡,先安装CUDA和cuDNN。具体版本要看你的显卡型号和PyTorch版本。我建议直接去PyTorch官网(pytorch.org)选对应的安装命令。

安装完成后,用以下代码检查:

import torch
print(torch.cuda.is_available())  # 返回True表示GPU可用
print(torch.cuda.device_count())  # GPU数量
print(torch.cuda.get_device_name(0))  # GPU型号
注意:如果返回False,别慌。先检查驱动是否安装,再检查CUDA版本是否匹配。我曾经在Windows上折腾了一下午,最后发现是显卡驱动太旧,更新完就好了。

如果你用的是Mac M1/M2芯片,可以用MPS加速:

print(torch.backends.mps.is_available())

没有GPU怎么办?别急,你可以用Google Colab或者阿里云的免费GPU资源。虽然速度慢点,但学习阶段完全够用。

2.6 知识体系总览

下面这张图,把本章的核心逻辑串起来了:

法律大模型环境准备知识体系 环境准备与工具链 Python 3.10 Anaconda环境管理 Jupyter Notebook Hugging Face库 GPU环境检查 transformers datasets accelerate CUDA/cuDNN

这张图把整个环境准备流程串起来了。你从Python开始,用Anaconda管理环境,在Jupyter里写代码,通过Hugging Face调用模型,最后用GPU加速。每一步都是下一环的基础。

嗯,到这里,你的开发环境就搭好了。接下来就可以真正开始玩法律大模型了。


公众号:蓝海资料掘金营,微信deep3321