01
QLoRA基础概念
什么是QLoRA、QLoRA与LoRA的区别、核心优势（量化+低秩适配）
量化低秩适配
02
环境搭建
树莓派4B / Jetson Nano · Python 3.8+ · PyTorch · bitsandbytes · transformers
边缘设备环境配置
03
模型量化原理
NF4量化 · 双重量化 · 分页优化器 · 为什么QLoRA能省显存
NF4双重量化
04
加载4bit量化模型
使用bitsandbytes加载LLaMA-2-7B 4bit版本，验证显存占用
4bitLLaMA-2
05
配置LoRA适配器
设置rank、alpha、target_modules，参数对效果的影响
LoRA超参数
06
准备微调数据集
Hugging Face Datasets · Alpaca格式 · tokenize & padding
数据集Alpaca
07
训练循环实现
transformers Trainer · QLoRA微调 · gradient_checkpointing
Trainer梯度检查点
08
显存优化技巧
梯度累积 · 混合精度(fp16/bf16) · 8bit Adam优化器
显存混合精度
09
模型保存与合并
保存LoRA权重 · 合并到基础模型 · 导出完整模型
模型合并导出
10
模型推理部署
加载微调模型 · 命令行交互式问答
推理交互
11
ONNX Runtime部署
导出ONNX格式 · CPU推理加速
ONNXCPU
12
TensorRT部署
Jetson Nano · INT8量化推理
TensorRTINT8
13
模型剪枝
结构化/非结构化剪枝 · torch.prune减少模型大小
剪枝torch.prune
14
知识蒸馏
TinyLLaMA学习LLaMA-2-7B输出分布
蒸馏TinyLLaMA
15
量化感知训练
torch.ao.quantization · QAT · 减少精度损失
QAT量化感知
16
边缘设备推理框架
llama.cpp · ollama · 树莓派部署
llama.cppollama
17
Web API封装
Flask/FastAPI封装推理接口 · RESTful服务
FlaskFastAPI
18
移动端部署
TFLite格式 · Android设备运行
TFLiteAndroid
19
性能基准测试
延迟 · 吞吐量 · 显存占用 · 对比优化方法
基准测试性能
20
多模型管理
同一设备部署多个QLoRA · 动态切换
多模型动态切换
21
持续学习
边缘设备收集新数据 · 增量更新QLoRA适配器
增量学习适配器
22
模型安全
防止模型窃取 · 对抗攻击防护 · 输入输出过滤
安全防护
23
功耗优化
DVFS · 模型休眠唤醒策略
功耗DVFS
24
分布式部署
多块Jetson Nano · Ray模型并行推理
分布式Ray
25
模型监控
Prometheus + Grafana监控推理指标
监控Prometheus
26
错误处理
OOM · CUDA错误 · 量化精度问题排查与修复
调试OOM
27
自动化部署流水线
Docker + GitHub Actions CI/CD
CI/CDDocker
28
案例实战1：医疗问答助手
树莓派部署QLoRA微调的医疗问答助手
医疗树莓派
29
案例实战2：工业缺陷检测
Jetson Nano · QLoRA微调工业缺陷检测模型
工业缺陷检测
30
总结与展望
QLoRA边缘AI未来趋势 · TinyML与LLM结合
趋势TinyML