📘 TensorRT-LLM 嵌入式移植实战·30章

🎒 风格 · 活力全栈

01 课程导论与嵌入式AI现状

TensorRT-LLM简介大模型推理挑战学习路径

📂 进入章节 →

02 嵌入式开发环境搭建

交叉编译工具链系统镜像烧录 SSH/串口调试

📂 进入章节 →

03 TensorRT-LLM源码获取与结构分析

Git仓库克隆 Builder/Runtime/Plugin 依赖库梳理

📂 进入章节 →

04 CUDA与cuDNN在嵌入式平台的适配

Jetson CUDA环境 cuDNN版本匹配 TensorRT安装

📂 进入章节 →

05 交叉编译TensorRT-LLM核心库

CMakeLists.txt修改 Toolchain编写编译优化 -O2 -march

📂 进入章节 →

06 Plugin自定义算子移植 (上)

Plugin注册机制编写GELU Plugin 编译与测试

📂 进入章节 →

07 Plugin自定义算子移植 (下)

FlashAttention适配内存对齐共享内存优化

📂 进入章节 →

08 模型导出与ONNX中间表示

PyTorch转ONNX opset 17 动态shape处理

📂 进入章节 →

09 TensorRT-LLM的Builder详解

INetworkDefinition IBuilderConfig 序列化引擎生成

📂 进入章节 →

10 引擎序列化与反序列化

Engine文件结构序列化API 嵌入式加载流程

📂 进入章节 →

11 内存管理策略

Pool内存分配器 CudaStream管理显存内存协同

📂 进入章节 →

12 Kernel Launch与Stream同步

CUDA Graph捕获多Stream并发 Event/Barrier

📂 进入章节 →

13 量化技术基础

FP16/INT8/INT4 量化原理 calibrator工具

📂 进入章节 →

14 权重量化与激活量化

SmoothQuant AWQ算法实现精度损失评估

📂 进入章节 →

15 KV Cache优化

PagedAttention KV Cache量化显存节省技巧

📂 进入章节 →

16 In-flight Batching与动态批处理

连续批处理请求调度策略延迟与吞吐量

📂 进入章节 →

17 模型并行与张量并行

TP在嵌入式多核通信原语NCCL 实现与适配

📂 进入章节 →

18 Pipeline并行与序列化

微批次划分流水线平衡嵌入式设备适配

📂 进入章节 →

19 性能Profiling与瓶颈分析

Nsight Systems Kernel耗时统计带宽利用率

📂 进入章节 →

20 算子融合与图优化

QKV/MLP融合融合策略嵌入式收益实测

📂 进入章节 →

21 低精度推理实战

FP8在Jetson Orin 精度校准回退策略

📂 进入章节 →

22 多模态模型移植 (LLaVA为例)

视觉编码器移植跨模态对齐端到端推理

📂 进入章节 →

23 流式输出与Token流处理

Streaming API 首Token延迟优化交互体验提升

📂 进入章节 →

24 安全性与模型保护

模型加密AES-GCM 引擎签名验证防逆向工程

📂 进入章节 →

25 OTA升级与模型热更新

差分更新算法运行时引擎替换版本回滚

📂 进入章节 →

26 功耗管理与散热控制

DVFS调优 GPU频率锁定温度感知调度

📂 进入章节 →

27 多设备集群协同

Jetson集群搭建 Ray分布式推理负载均衡/故障转移

📂 进入章节 →

28 实际案例：智能客服机器人

端侧部署7B模型语音转文本集成响应延迟优化

📂 进入章节 →

29 实际案例：边缘视频分析

视频流解码帧级别推理目标跟踪与告警

📂 进入章节 →

30 课程总结与未来展望

稀疏计算/存内计算社区资源持续学习路径

📂 进入章节 →