嵌入式平台运行大语言模型全攻略
📚 共计 30 章节
01
课程导论与硬件选型
为什么在嵌入式平台跑大模型？主流AI芯片对比（Jetson、RK3588、树莓派5、TPU），硬件选型决策树。
导论
硬件
选型
02
开发环境搭建
交叉编译工具链安装、Python虚拟环境配置、ONNX Runtime与TensorRT Lite的编译部署。
环境
编译
工具链
03
模型量化基础
FP32、FP16、INT8量化原理，对称量化与非对称量化，校准数据集的选择。
量化
INT8
校准
04
模型剪枝与蒸馏
结构化剪枝与非结构化剪枝，知识蒸馏的教师-学生网络架构，嵌入式平台收益分析。
剪枝
蒸馏
轻量化
05
ONNX模型导出与优化
从PyTorch/TensorFlow导出ONNX，ONNX Simplifier优化，算子融合与常量折叠。
ONNX
导出
优化
06
TensorRT部署实战
TensorRT安装与配置，构建Engine，动态shape处理，INT8量化校准。
TensorRT
Engine
INT8
07
TFLite与MediaPipe部署
TFLite模型转换，Delegate加速（GPU/NPU），MediaPipe Pipeline构建。
TFLite
MediaPipe
加速
08
llama.cpp与GGUF格式
GGUF模型格式解析，llama.cpp的编译与使用，CPU/GPU混合推理。
llama.cpp
GGUF
混合推理
09
OpenVINO部署
OpenVINO Toolkit安装，模型优化器使用，异构执行（CPU+GPU+NPU）。
OpenVINO
异构
优化
10
模型推理引擎对比
ONNX Runtime vs TensorRT vs OpenVINO vs llama.cpp，性能与精度权衡。
对比
推理引擎
性能
11
内存优化策略
内存池设计，模型分片加载，虚拟内存映射，共享内存机制。
内存
分片
共享
12
计算加速技术
NEON指令集优化，OpenMP多线程，GPU/CUDA加速，NPU驱动调用。
NEON
CUDA
NPU
13
模型服务化
RESTful API设计，gRPC通信，模型热加载，请求队列与批处理。
API
gRPC
服务化
14
边缘端数据处理
摄像头实时采集，音频流处理，传感器数据融合，预处理流水线。
数据流
传感器
预处理
15
视觉大模型部署
YOLO系列目标检测，OCR识别，图像分割模型在嵌入式平台的优化。
YOLO
OCR
视觉
16
语音大模型部署
Whisper语音识别，TTS语音合成，唤醒词检测，端到端语音Pipeline。
Whisper
TTS
语音
17
文本大模型部署
LLaMA、ChatGLM、Qwen等模型的嵌入式适配，Prompt优化与上下文管理。
LLaMA
ChatGLM
文本
18
多模态模型部署
CLIP图文匹配，LLaVA视觉问答，多模态特征对齐与融合。
多模态
CLIP
LLaVA
19
模型安全与隐私
模型加密，TEE可信执行环境，联邦学习在边缘端的应用。
安全
TEE
联邦学习
20
功耗与散热管理
动态电压频率调整，模型休眠唤醒，散热方案设计，功耗测量工具。
功耗
DVFS
散热
21
实时性优化
中断处理与任务调度，RT-Linux与实时补丁，延迟抖动分析。
实时
RT-Linux
调度
22
模型版本管理
模型仓库搭建，版本回滚，A/B测试，模型监控与日志。
版本
A/B测试
监控
23
OTA远程更新
固件升级策略，差分更新，断点续传，安全校验。
OTA
差分
升级
24
性能Profiling工具
perf、Valgrind、NVIDIA Nsight、ARM Streamline，瓶颈定位与优化。
Profiling
perf
Nsight
25
典型应用案例1：智能安防
人脸检测+车牌识别，端侧推理与云侧协同。
安防
人脸
车牌
26
典型应用案例2：工业缺陷检测
边缘计算盒子，模型蒸馏与量化实战。
工业
缺陷检测
蒸馏
27
典型应用案例3：智能语音助手
离线唤醒+命令识别，低功耗设计。
语音助手
唤醒
低功耗
28
典型应用案例4：农业物联网
作物病害识别，多传感器融合与模型轻量化。
农业
病害
轻量化
29
项目实战：嵌入式AI盒子
从零搭建：硬件组装、系统烧录、模型部署、Web管理界面。
实战
AI盒子
全栈
30
课程总结与未来展望
大模型在嵌入式领域趋势，RISC-V与存算一体架构，职业发展建议。
总结
RISC-V
趋势