1. AI模型基础与端侧推理概述

大家好，我是你们这门课的老朋友。今天咱们聊聊端侧AI到底是个啥，以及为什么我干了这么多年部署，越来越觉得它香。

说实话，我刚入行那会儿，AI还都是跑在云端的大机房里。那时候觉得，模型嘛，越大越好，算力嘛，越强越牛。直到有一次，我给一个工业检测项目做方案——客户要求在产线边上实时判断产品缺陷，网络延迟超过100毫秒就算不合格。云端推理？想都别想。那次之后，我才真正开始认真研究端侧推理。

什么是端侧AI

端侧AI，说白了就是把AI模型部署到终端设备上运行。这个终端可以是你的手机、智能摄像头、车载芯片、甚至是一个小小的传感器。

它不需要联网，不需要把数据传到云端。模型就在设备本地，数据也在本地处理。嗯，这里要注意：端侧AI不等于小模型，它可以是经过压缩的大模型，也可以是专门设计的轻量网络。

端侧AI的应用场景

我这些年接触过的项目，端侧AI几乎覆盖了你能想到的所有智能设备。给你列几个典型的：

场景	典型设备	我踩过的坑
智能安防	AI摄像头、门禁	曾经有个项目，模型在服务器上跑得飞快，一上摄像头就卡成PPT。后来发现是内存带宽瓶颈。
工业质检	边缘盒子、工业相机	产线环境温度高，芯片降频严重。我后来加了散热方案才稳住。
智能家居	音箱、扫地机	语音唤醒模型必须做到10ms以内，否则用户体验极差。
自动驾驶	车载域控制器	这个要求最高，模型不仅要快，还得通过功能安全认证。
可穿戴设备	手表、眼镜	电池续航是硬约束，模型功耗必须控制在毫瓦级。

端侧推理与云端推理的对比

很多人问我：端侧和云端到底怎么选？我一般会反问：你的数据能出设备吗？你的网络稳定吗？你的用户等得起吗？

来，直接看对比：

维度	端侧推理	云端推理
延迟	1-10ms（本地处理）	50-500ms（含网络）
隐私	数据不出设备	需上传服务器
算力	受限（几TOPS到几十TOPS）	几乎无限（GPU集群）
功耗	严格（几瓦到几十瓦）	宽松（几百瓦到几千瓦）
成本	硬件成本高，运营成本低	硬件成本低，运营成本高
更新	OTA升级，周期长	随时更新，灵活
离线	完全离线可用	必须联网

课程整体路线图

这门课一共30章，我按照自己这些年做项目的经验，给你画了一条从入门到实战的路线：

1. 基础篇（第1-5章）：模型基础、推理框架、硬件选型。这部分我会带你搞清楚端侧AI的底层逻辑。
2. 优化篇（第6-15章）：模型压缩、量化、剪枝、蒸馏。这是端侧部署的核心技能，也是我花时间最多的部分。
3. 部署篇（第16-25章）：ONNX、TensorRT、NCNN、TFLite、OpenVINO。每个框架我都会给一个完整的部署案例。
4. 实战篇（第26-30章）：从需求分析到上线运维，完整走一遍项目流程。这部分我会拿一个真实的工业检测项目来拆解。

好了，第一章就到这里。下一章咱们聊聊模型的基础知识——别担心，我会用最接地气的方式讲清楚张量、算子这些概念。你想想看，连我这种半路出家的都能搞明白，你肯定没问题。

---

公众号:蓝海资料掘金营，微信deep3321