3、硬件环境准备：GPU服务器选型与存储规划
说实话，法律大模型的私有化部署，硬件选型这块是最容易踩坑的。我见过不少团队，模型选好了，代码调通了，结果卡在服务器跑不起来——要么显存不够，要么带宽瓶颈，要么散热跟不上。嗯，今天咱们就把这块掰开揉碎了讲清楚。
3.1 GPU选型：A100、H100还是国产昇腾？
先说说我的个人习惯。做法律大模型部署，我一般会先问三个问题：模型参数量多大？推理还是训练？预算多少？这三个问题定下来，GPU选型就八九不离十了。
NVIDIA A100：当前最稳妥的选择
A100 80GB版本，我个人用得最多。为什么？因为法律大模型通常需要处理长文本——合同、判决书、法规条文，动不动就几千字。显存小了，根本塞不下。
核心参数：
- 显存：40GB / 80GB 两种规格
- 显存带宽：2TB/s（HBM2e）
- 互连：NVLink 600GB/s
- 功耗：400W
我在项目中遇到过一件事。有个客户要部署一个70B参数的法律咨询模型，一开始图便宜选了A100 40GB版本。结果呢？单卡根本跑不了，模型量化后勉强能推理，但batch size只能设为1，吞吐量惨不忍睹。后来换了80GB版本，一切才顺畅起来。
我的建议：法律大模型部署，显存是第一优先级。如果预算允许，直接上A100 80GB。别在显存上省钱，否则后面全是坑。
NVIDIA H100：性能怪兽，但有点贵
H100相比A100，性能提升是实打实的。Transformer Engine专门优化了大模型推理，FP8精度下吞吐量能翻倍。但说实话，对于大多数法律场景，H100有点「杀鸡用牛刀」了。
| 对比项 | A100 80GB | H100 80GB |
|---|---|---|
| 架构 | Ampere | Hopper |
| 显存带宽 | 2TB/s | 3.35TB/s |
| FP8算力 | 不支持 | 支持 |
| 参考价格 | 约15-20万 | 约25-35万 |
你想想看，H100的价格几乎是A100的两倍。除非你的法律模型需要实时处理海量并发请求，或者要做全参数微调，否则A100完全够用。
国产昇腾：自主可控的选择
昇腾910B，我最近半年接触比较多。说实话，生态确实不如NVIDIA成熟，但进步很快。对于法律行业的私有化部署，尤其是涉密场景，昇腾是唯一的选择。
注意：昇腾的算子库和CUDA不完全兼容。我曾经踩过一个坑——模型在A100上跑得好好的，迁移到昇腾上，一个自定义算子不支持，折腾了两天才找到替代方案。所以，如果选昇腾，一定要提前验证模型兼容性。
我个人建议：如果项目不涉密，优先选A100。如果必须国产化，昇腾910B可以胜任，但要做好适配工作。
3.2 内存与存储规划
内存这块，很多人容易忽略。其实大模型推理时，CPU内存同样重要。为什么？因为模型加载、分词、后处理都在CPU上跑。
内存容量：512GB起步
我一般推荐至少512GB内存。原因很简单：
- 模型权重加载到GPU前，先要读入内存
- 推理时的中间结果、缓存数据
- 操作系统和框架本身的开销
举个例子。一个70B参数的模型，FP16精度下权重文件约140GB。加载时内存占用至少200GB。再加上其他进程，512GB内存其实刚刚好。
避坑指南：我曾经遇到过内存不足导致OOM的情况。当时加载一个13B模型，内存只有128GB，结果模型加载到一半就崩了。后来加了内存条才解决。嗯，内存这东西，宁多勿少。
存储：SSD是标配，NVMe是优选
存储分两块：系统盘和数据盘。
- 系统盘：1TB NVMe SSD，装系统和框架
- 数据盘：4TB+ NVMe SSD，存模型文件、训练数据
为什么强调NVMe？因为模型加载速度直接受磁盘IO影响。SATA SSD的读写速度约500MB/s，而NVMe SSD能到3-7GB/s。加载一个70B模型，NVMe比SATA快5倍以上。
3.3 网络带宽要求
网络这块，很多人觉得「能上网就行」。其实不然。大模型部署对网络带宽有硬性要求，尤其是多卡并行和分布式推理场景。
单机多卡：NVLink是关键
如果一台服务器插了多张GPU，卡间通信必须走NVLink。PCIe 4.0 x16的理论带宽是32GB/s，而NVLink能到600GB/s。差距有多大？你想想看，模型并行时，每层计算都要交换中间结果，PCIe根本扛不住。
我的经验：4卡A100服务器，必须配NVLink桥接器。没有NVLink，多卡性能会下降30%-50%。
多机分布式：InfiniBand或RoCE
如果模型太大，一台服务器放不下，就需要多机分布式。这时候网络带宽就成瓶颈了。
| 网络方案 | 带宽 | 延迟 | 适用场景 |
|---|---|---|---|
| InfiniBand HDR | 200Gbps | 1-2μs | 大规模分布式训练 |
| RoCE v2 | 100Gbps | 5-10μs | 中小规模推理集群 |
| 普通万兆以太网 | 10Gbps | 50-100μs | 仅适合单机部署 |
说实话，法律大模型私有化部署，大部分场景单机就够了。除非你要做千亿参数级别的模型，否则没必要上InfiniBand。100Gbps RoCE完全够用。
注意：网络带宽不足会导致通信等待，GPU利用率上不去。我曾经见过一个案例，两台服务器用万兆网卡做分布式推理，结果GPU利用率只有30%，大部分时间都在等数据。后来换了100Gbps RoCE，利用率直接拉到85%。
3.4 一张图看懂硬件选型逻辑
说了这么多，我画了一张流程图，帮你理清思路：
这张图的核心逻辑很简单：先看合规要求，再定GPU型号，最后配内存和网络。每一步都有明确的判断标准，照着走基本不会出错。
3.5 总结一下
硬件选型这事，说白了就是「匹配」二字。模型多大、并发多少、预算多少，三者匹配好了，部署就成功了一半。
- GPU：法律场景首选A100 80GB，涉密选昇腾910B
- 内存：512GB起步，别省
- 存储：NVMe SSD，读写速度是关键
- 网络：单机NVLink，多机100Gbps RoCE
嗯，硬件环境准备就讲到这里。下一节咱们聊聊软件环境的搭建——操作系统、驱动、CUDA、容器，一个都不能少。