🎤 端侧语音模型部署
与推理优化实战
📘 30章 · 从入门到部署调优
🧩 风格
🎨
⚡ 端侧推理
01
端侧语音模型概述
端侧AI兴起
应用场景
挑战与机遇
📂 进入章节 →
02
模型量化基础
数学原理
对称/非对称
scale/zero_point
📂 进入章节 →
03
PTQ与QAT
Post-Training
QAT原理
优劣对比
📂 进入章节 →
04
INT8量化实战
Wav2Vec2.0
校准数据集
精度评估
📂 进入章节 →
05
模型剪枝技术
结构化/非结构化
L1/L2范数
Transformer剪枝
📂 进入章节 →
06
知识蒸馏
教师-学生
Logit/Feature蒸馏
语音识别
📂 进入章节 →
07
ONNX Runtime部署
导出ONNX
C++/Python接口
端侧加速
📂 进入章节 →
08
TensorRT部署
安装配置
模型构建优化
动态形状
📂 进入章节 →
09
TFLite部署
模型转换
Delegate(GPU/NNAPI)
性能调优
📂 进入章节 →
10
NCNN框架实战
编译集成
ncnn2mem
ARM NEON
📂 进入章节 →
11
MNN框架实战
架构设计
模型转换推理
多线程优化
📂 进入章节 →
12
TNN框架实战
跨平台支持
量化压缩
性能对比
📂 进入章节 →
13
Paddle Lite部署
模型转换
NPU/GPU加速
语音模型适配
📂 进入章节 →
14
Core ML部署
模型转换
ANE加速
iOS优化
📂 进入章节 →
15
NNAPI与Android部署
NNAPI驱动
HAL适配
推理管线
📂 进入章节 →
16
模型格式转换
PyTorch→ONNX→TFLite
踩坑点
精度对齐
📂 进入章节 →
17
端侧推理引擎选型
延迟/吞吐/内存
生态成熟度
社区活跃度
📂 进入章节 →
18
内存优化技术
权重共享
内存池设计
逐层复用
📂 进入章节 →
19
计算图优化
算子融合
常量折叠
死代码消除
📂 进入章节 →
20
端侧语音特征提取
MFCC/Fbank
定点化
实时性优化
📂 进入章节 →
21
流式语音识别部署
RNN-T/CTC
状态管理
低延迟推理
📂 进入章节 →
22
唤醒词模型部署
小模型设计
MCU部署
功耗优化
📂 进入章节 →
23
语音合成(TTS)端侧部署
FastSpeech/MelGAN
轻量化
实时合成
📂 进入章节 →
24
语音增强模型部署
RNNoise/DCCRN
端侧适配
实时处理
📂 进入章节 →
25
端侧模型安全
模型加密
防逆向
TEE集成
📂 进入章节 →
26
性能Profiling工具
Perfetto/Simpleperf
算子耗时
瓶颈定位
📂 进入章节 →
27
端侧模型测试
WER/CER
延迟P50/P99
稳定性测试
📂 进入章节 →
28
多平台部署实践
Android/iOS/Linux/RTOS
统一方案
CI/CD
📂 进入章节 →
29
端侧语音模型演进
Squeezeformer
EfficientConformer
未来趋势
📂 进入章节 →
30
综合项目实战
训练到部署
性能调优全记录
经验总结
📂 进入章节 →