01嵌入式GPU与大模型概述

Jetson系列、瑞芯微NPU，大模型推理流程，课程目标与学习路径

02开发环境搭建

硬件选型(Jetson Orin NX)，JetPack SDK，CUDA/cuDNN/TensorRT，交叉编译

03深度学习基础回顾

张量与计算图，卷积/Transformer算子，模型量化(FP16/INT8)

04ONNX模型导出与优化

PyTorch转ONNX，算子兼容性，ONNX Simplifier，动态/静态轴

05TensorRT基础入门

Engine/Builder/Network，trtexec工具，第一个TensorRT推理程序

06TensorRT高级优化

动态形状，INT8量化校准，层融合与内核自动调优

07模型部署实战(一)

图像分类 ResNet50 在Jetson上的部署与性能调优

08模型部署实战(二)

目标检测 YOLOv8 TensorRT加速与后处理优化

09模型部署实战(三)

语义分割 DeepLabV3 嵌入式部署与内存优化

10大模型推理框架介绍

llama.cpp, MLC-LLM, TinyChat, vLLM(边缘版)对比选型

11llama.cpp实战

源码编译(CUDA)，GGUF转换，CPU+GPU混合推理

12MLC-LLM实战

TVM后端编译，Vulkan/Metal加速，Jetson运行ChatGLM

13TinyChat与FastLLM

轻量推理引擎架构，低内存设备部署技巧

14模型剪枝与蒸馏

结构化剪枝，知识蒸馏边缘应用，NVIDIA TAO Toolkit

15量化感知训练(QAT)

QAT原理，PyTorch微调，导出INT8到TensorRT

16KV Cache优化

KV Cache原理，PageAttention适配，共享前缀缓存

17连续批处理(Continuous Batching)

动态批处理，Inflight Batching，吞吐量优化

18多模态模型部署

LLaVA/CLIP在嵌入式GPU，视觉编码器与语言模型协同

19语音模型部署

Whisper实时推理，语音端点检测(VAD)与流水线

20模型服务化

FastAPI推理服务，gRPC/RESTful对比，负载均衡

21性能分析与Profiling

NVIDIA Nsight Systems，内核启动开销，内存带宽瓶颈

22功耗与散热管理

Jetson功耗模式(MAXN/15W/10W)，DVFS，温控降频

23多GPU与异构计算

多卡协同，CPU+GPU+NPU异构，DLA加速器

24安全与隐私

TEE边缘推理，模型加密与授权，联邦学习嵌入式实践

25边缘-云协同推理

模型分片，端侧预处理+云侧大模型，自适应卸载

26实时操作系统(RTOS)集成

QNX/FreeRTOS部署推理引擎，实时性调度

27行业案例(一) 智能安防

Jetson实时视频分析，人脸识别+行为分析

28行业案例(二) 工业质检

边缘端缺陷检测大模型，异常检测+分类

29行业案例(三) 智能座舱

车载语音助手，驾驶员监控系统(DMS)

30课程总结与未来展望

技术路线回顾，边缘AI趋势(存内计算/光子计算)，学习资源