第1章
边缘计算概述
什么是边缘计算 · 为什么需要边缘计算 · 与云计算对比 · 典型应用场景
基础概念
第2章
大模型边缘部署挑战
算力限制 · 内存存储瓶颈 · 功耗散热 · 模型压缩量化需求
难点分析
第3章
硬件选型指南
Jetson / RK3588 / Intel NUC / 树莓派 · NPU与GPU · 内存存储配置
硬件选型
第4章
开发环境搭建
交叉编译工具链 · SSH/VSCode远程 · 系统烧录初始化 · Docker部署
环境工具
第5章
模型量化基础
FP32/FP16/INT8/INT4 · QAT与PTQ · 精度损失评估
量化压缩
第6章
模型剪枝技术
结构化与非结构化剪枝 · 通道剪枝实战 · 微调策略 · 剪枝率权衡
剪枝优化
第7章
知识蒸馏
教师与学生模型 · 蒸馏温度与损失 · 离线/在线蒸馏 · 边缘案例
蒸馏轻量化
第8章
ONNX模型转换
PyTorch导出ONNX · 算子兼容性 · 简化优化 · ONNX Runtime
ONNX转换
第9章
TensorRT加速
安装配置 · 模型构建序列化 · 动态形状 · INT8校准调优
TensorRT加速
第10章
OpenVINO部署
工具套件安装 · IR转换 · 异构执行 · 性能基准测试
OpenVINOIntel
第11章
TFLite与MediaPipe
TFLite转换 · Delegate加速 · MediaPipe Pipeline · 移动端部署
TFLiteMediaPipe
第12章
NCNN与MNN
腾讯NCNN · 阿里MNN · 模型转换优化 · 端侧性能对比
NCNNMNN
第13章
边缘推理框架选型
框架对比 · 延迟吞吐测试 · 生态活跃度 · 选型决策矩阵
选型框架
第14章
模型服务化部署
Flask/FastAPI · gRPC流式推理 · 负载均衡 · 边缘-云协同
服务化API
第15章
边缘端数据处理
传感器采集 · 视频流解码 · 音频处理 · 数据增强归一化
数据预处理
第16章
实时视频分析实战
YOLOv8部署 · 视频流Pipeline · DeepSORT跟踪 · 告警触发
视频YOLO
第17章
语音识别边缘部署
Whisper轻量化 · VAD端点检测 · 流式识别 · 离线唤醒词
语音Whisper
第18章
自然语言处理边缘应用
BERT蒸馏量化 · 文本分类 · NER · 对话系统轻量化
NLPBERT
第19章
多模态模型融合
CLIP边缘部署 · 图文检索匹配 · 特征对齐 · 多模态推理优化
多模态CLIP
第20章
联邦学习与边缘计算
联邦学习原理 · 边缘协同训练 · 模型聚合 · 差分隐私
联邦学习隐私
第21章
边缘设备管理平台
注册认证 · OTA升级 · 模型版本管理 · 监控日志
管理运维
第22章
性能分析与调优
Nsight/perf工具 · 算子耗时 · 内存带宽 · 流水线并行
性能调优
第23章
功耗优化策略
DVFS · 功耗建模 · 低功耗模式 · 电池供电优化
功耗节能
第24章
安全与隐私保护
模型加密混淆 · TEE · 数据脱敏 · 对抗防御
安全隐私
第25章
边缘计算网络协议
MQTT · WebRTC · HTTP/2 vs HTTP/3 · 组网方案
网络协议
第26章
边缘-云协同架构
云端训练边缘推理 · 预处理后处理 · 混合推理 · 断连容错
协同架构
第27章
工业质检场景实战
缺陷检测 · 工业相机对接 · 实时分拣 · 产线数据回传
工业质检
第28章
智慧零售场景实战
商品识别 · 客流统计 · 自助结算 · 会员推荐
零售AI
第29章
智能安防场景实战
人脸门禁 · 车牌识别 · 异常行为检测 · 视频结构化
安防识别
第30章
边缘计算未来趋势
大模型端侧推理 · 存算一体芯片 · 边缘AI Agent · 绿色计算
趋势前沿