2. 硬件基础认知：GPU（NVIDIA A100/H100）与NPU的功耗特性对比
各位同学好，我是老张。今天咱们聊点实在的——硬件功耗。说实话，我见过太多团队，模型调得飞起，一上生产就炸供电。说白了，功耗这玩意儿，你绕不过去。
咱们先看一张图，把今天要讲的核心逻辑理清楚：
2.1 GPU功耗：A100与H100的真实表现
先聊GPU。NVIDIA的A100和H100，是目前大模型推理的主力军。但它们的功耗，可不是标称那么简单。
A100（80GB版本）
- TDP（热设计功耗）：400W
- TGP（总图形功耗）：实际可达450W-500W
- 我实测过：跑LLaMA-70B推理时，8卡A100整机功耗飙到3.8kW，比标称高了近20%
H100（SXM版本）
- TDP：700W
- TGP：实际可达750W-800W
- 注意：H100的PCIe版本TDP只有350W，但性能也打了折扣
关键认知：TDP是散热设计参考值，TGP才是实际功耗上限。你选电源和散热时，必须按TGP来算，否则等着跳闸吧。
2.2 TDP与TGP的区别——别被数字骗了
这个问题我每次培训都要强调。很多同学一看TDP 400W，就以为功耗就是400W。太天真了。
| 指标 | TDP（热设计功耗） | TGP（总图形功耗） |
|---|---|---|
| 定义 | 散热系统需要带走的热量 | 显卡实际消耗的总功率 |
| 包含什么 | 核心+显存发热量 | 核心+显存+PCB+风扇+接口损耗 |
| 典型关系 | TDP ≤ TGP | TGP ≈ TDP × 1.1~1.2 |
| 用途 | 选散热器、设计风道 | 选电源、算电费、做供电规划 |
| 我踩过的坑 | 曾经按TDP配了800W电源，结果8卡A100满载直接跳闸。后来换成1200W才稳住。 | |
⚠️ 避坑指南：我曾经在某个数据中心项目里，按TDP算的总功耗，结果机柜PDU过载保护频繁触发。最后不得不重新布线，多花了3天工期。记住：TGP才是你掏电费的真实数字。
2.3 NPU功耗特性——专用芯片的能效优势
NPU这边，情况就清爽多了。因为架构专用，没有那么多花里胡哨的附加电路。
典型NPU功耗数据
- 华为昇腾310：TDP 8W，TGP约10W
- 华为昇腾910B：TDP 310W，TGP约350W
- 寒武纪思元370：TDP 150W，TGP约170W
- 地平线征程5：TDP 35W，TGP约40W
你看，NPU的TDP和TGP差距很小，基本在10%以内。为什么？因为NPU没有GPU那么多显示输出、视频编解码等附加模块。说白了，它就是为AI推理生的，功耗更透明。
💡 个人经验：我建议你在做边缘部署时，优先考虑NPU。比如在自动驾驶、智慧安防场景，NPU的能效比（TOPS/W）通常是GPU的3-5倍。但要注意，NPU的软件生态不如CUDA成熟，调试起来可能多花点时间。
2.4 如何读取硬件功耗表——实战技巧
好，理论讲完了，咱们来点实操。怎么拿到真实的功耗数据？我教你三招。
方法一：nvidia-smi（NVIDIA GPU）
# 查看实时功耗（单位：mW）
nvidia-smi --query-gpu=power.draw --format=csv
# 示例输出
# power.draw [W]
# 285.43
# 312.78
# 查看功耗上限
nvidia-smi -q -d POWER方法二：ipmitool（整机功耗）
# 查看服务器整机功耗（需要BMC支持）
ipmitool sensor | grep -i power
# 示例输出
# PS1 Total Power | 452 Watts | ok
# PS2 Total Power | 438 Watts | ok方法三：硬件功耗表解读
NVIDIA官方提供的功耗表，一般长这样：
| 工作状态 | A100 80GB (W) | H100 SXM (W) | 说明 |
|---|---|---|---|
| 空闲 | 35-50 | 50-70 | 显存保持供电 |
| 轻载推理 | 200-280 | 350-500 | batch size=1 |
| 满载推理 | 400-480 | 650-750 | batch size=32+ |
| 峰值瞬间 | 500+ | 800+ | 启动/切换模型时 |
重点：读取功耗表时，别只看最大值。要看「典型工作负载」下的功耗。我一般取「满载推理」的值乘以1.2作为设计余量。比如A100，我就按480×1.2=576W来算单卡功耗。
2.5 GPU vs NPU：功耗视角的选型建议
最后，我结合自己的项目经验，给你几个实在的建议：
- 数据中心场景：选GPU（A100/H100）。虽然功耗高，但生态成熟，调试方便。记得按TGP配电源。
- 边缘/端侧场景：选NPU。功耗低，能效高。但要做好软件适配的心里准备。
- 混合部署：我最近在做的项目就是GPU+NPU混合。GPU做训练和复杂推理，NPU做轻量推理。功耗整体降了40%。
- 千万别只看TDP：这是新手最容易犯的错。TDP是散热参考，TGP才是功耗真相。
💡 我的习惯：每次拿到新硬件，第一件事就是跑一遍功耗曲线。用nvidia-smi每100ms采样一次，持续跑30分钟。这样你就能看到真实的功耗波动范围，而不是只看标称值。
好了，这一章就到这里。功耗这块儿，说白了就是「实测为王」。别信宣传页上的数字，自己动手测一测，心里才有底。