大模型在资源受限设备上的适配与部署

📚 共计 30 章节

大模型部署概述

什么是边缘部署 · 为什么需要模型压缩 · 部署的挑战与机遇

边缘计算入门

模型量化基础

量化的数学原理 · 对称量化与非对称量化 · 量化感知训练

模型剪枝技术

结构化剪枝与非结构化剪枝 · 剪枝策略与效果评估

稀疏化加速

教师-学生网络架构 · 蒸馏损失函数设计 · 蒸馏在边缘设备上的实践

迁移学习轻量化

轻量化模型架构

MobileNet · ShuffleNet · EfficientNet-Lite 等架构解析

ONNX 模型转换与优化

从 PyTorch/TensorFlow 导出 ONNX · ONNX Runtime 部署

互操作性优化

TensorRT 加速原理

层融合 · 精度校准 · 动态形状支持

TFLite 与 MediaPipe

Android/iOS 端部署流程 · GPU 委托加速

腾讯与阿里的端侧推理引擎对比与实战

OpenVINO 在 Intel 设备上的部署

模型优化 · 异构执行

CoreML 与 iOS 部署

模型转换 · ANE 神经引擎利用

模型加密与安全

模型混淆 · 加密推理 · TEE 环境部署

边缘设备选型

树莓派 · Jetson Nano · RK3588 · K210 对比

内存优化技术

内存池 · 张量复用 · 梯度检查点

计算图优化

算子融合 · 常量折叠 · 死代码消除

图优化编译

混合精度推理

FP16 · BF16 · INT8 混合使用策略

动态批处理与流式处理

提升吞吐量的实用技巧

批处理流式

模型分片与流水线并行

将大模型拆分到多个设备

分布式分片

缓存与预加载策略

减少 I/O 瓶颈的工程实践

功耗与散热管理

DVFS 调优 · 温控降频处理

实时性保障

RTOS 与 Linux PREEMPT_RT 配置

模型版本管理与 A/B 测试

OTA 更新与回滚机制

边缘-云协同推理

端侧预处理 + 云端大模型

联邦学习在边缘的应用

隐私保护与模型更新

多模态模型在边缘的适配

视觉+语音+文本联合推理

多模态融合

大语言模型（LLM）的边缘部署

llama.cpp · MLC-LLM 实战

视觉大模型（ViT）的边缘部署

量化与剪枝案例

异常检测与模型回滚

监控指标与自动恢复

性能基准测试方法论

Latency · Throughput · Memory 测量

综合项目实战

从模型训练到边缘设备全流程落地