边缘计算定义
大模型挑战
智能制造
自动驾驶
智慧城市
Jetson
Intel Movidius
Google Coral
RK3588
CPU+GPU+NPU
功耗平衡
结构化剪枝
非结构化剪枝
知识蒸馏
剪枝缩小60%
INT8/FP16量化
混合精度
QAT
PTQ
蒸馏实战
TensorRT
ONNX Runtime
OpenVINO
TFLite
NCNN
硬件选框架
安装配置
Parser vs Builder
网络层融合
精度校准
Dynamic Shapes
Multi-Stream
DeepStream集成
模型导出优化
C++/Python API
内存优化
性能调优
工具套件
Model Optimizer
Inference Engine
CPU/GPU加速
Delegate机制
GPU/Edge TPU
Vulkan加速
移动端/嵌入式
.pt/.pth
.onnx
.pb/.tflite
.rknn
ONNX算子踩坑
DeepStream
GStreamer
硬件加速解码
Whisper
BERT轻量化
语音唤醒
端侧LLM
GPTQ/AWQ/GGUF
KV-Cache
Streaming
Prefill/Decode
llama.cpp
vLLM(边缘版)
MLC-LLM
Jetson跑LLaMA
Prometheus+Grafana
日志采集
异常检测
自愈
YOLOv5优化
TensorRT部署
产线抖动问题