一、SDK 到底是个啥？
说实话，我刚入行那会儿，也觉得 SDK 这词挺唬人的。什么「软件开发工具包」，听着就像很高大上的东西。但说白了，SDK 就是一套帮你省事的工具箱。
你想想看，做深度视觉开发，总不能每次都从零开始写摄像头驱动、图像解码、模型加载这些底层代码吧？那得累死。SDK 就是把这些脏活累活封装好，给你一个干净利落的接口。你调用它，它帮你搞定硬件。
我个人习惯把 SDK 理解成「中间人」。它夹在你的应用程序和底层硬件之间。你不需要知道摄像头是怎么采集数据的，也不需要管 NPU 是怎么做矩阵运算的。你只需要调用 SDK 的几个 API，就能拿到推理结果。
SDK 的核心作用就三个：
- 屏蔽硬件差异 —— 换了个摄像头？换了个芯片？SDK 帮你适配，你的上层代码基本不用改。
- 提供标准接口 —— 大家都用同一套 API，开发效率高，团队协作也方便。
- 封装复杂逻辑 —— 图像预处理、模型推理、结果解析，这些步骤 SDK 内部帮你串起来。
嗯，这里要注意一点：SDK 不是万能的。它给你方便，但也给你限制。有些极端性能场景，你可能还是得绕过 SDK 直接操作硬件。不过那是后话了。
二、深度视觉 SDK 的典型架构
做深度视觉这么多年，我见过的 SDK 架构大同小异。基本上都逃不出下面这四层。我画了张图，你看一眼就明白了。
1. 采集层 —— 眼睛
这一层负责跟摄像头打交道。USB 摄像头、MIPI 摄像头、网络摄像头，各种接口它都得认识。我在项目中遇到过最头疼的事，就是换了款摄像头，结果 SDK 不兼容，折腾了两天才搞定。
好的采集层会帮你做这几件事：
- 自动检测摄像头设备
- 配置分辨率、帧率、曝光参数
- 缓冲管理，防止丢帧
- 时间戳同步（多摄像头场景尤其重要）
2. 预处理层 —— 化妆师
模型不是啥图像都能吃的。它要特定大小、特定格式、特定数值范围。预处理层就是干这个的。
常见的预处理操作：
- Resize —— 把图像缩放到模型输入尺寸
- 色彩空间转换 —— BGR 转 RGB，或者转 YUV
- 归一化 —— 像素值从 0~255 映射到 0~1 或 -1~1
- 数据增强 —— 训练时用的翻转、旋转、裁剪等
一个小技巧：预处理其实很吃 CPU 资源。我建议能用硬件加速的就用硬件加速。比如有些芯片的 ISP 模块可以直接输出归一化后的数据，省掉一次内存拷贝。
3. 推理层 —— 大脑
这是整个 SDK 的核心。模型加载、推理执行、硬件加速调度，全在这一层。
推理层要处理的关键问题：
- 模型加载与解析 —— 支持 ONNX、TensorFlow Lite、Caffe 等格式
- 推理引擎调度 —— 调用 NPU、GPU 或 CPU 进行计算
- 内存管理 —— 输入输出张量的分配与回收
- 异步推理 —— 不阻塞采集线程，提高吞吐量
我记得有一次做嵌入式项目，模型在 PC 上跑得飞快，一上板子就卡成 PPT。后来发现是推理层没有做好内存池复用，每次推理都重新分配内存。改完之后帧率直接翻倍。
4. 后处理层 —— 翻译官
模型输出的东西，人看不懂。一堆浮点数、张量、概率值。后处理层把这些翻译成你能用的结果。
常见的后处理：
- 目标检测 —— 解析边界框、置信度、类别，做 NMS（非极大值抑制）
- 分类 —— 取 top-K 概率对应的类别标签
- 分割 —— 将像素级概率图还原为掩码
- 坐标映射 —— 把模型输出的坐标映射回原始图像尺寸
避坑指南：我曾经因为后处理里的 NMS 阈值设得太低，导致一个目标框被重复检测了十几次。后来我养成了习惯：每次调参后，先可视化看一眼结果，别光看数值。
三、SDK 与工具链的关系
很多人搞不清 SDK 和工具链的区别。我打个比方你就懂了。
SDK 是运行时用的 —— 你的产品最终跑在设备上，调用的是 SDK 的 API。
工具链是开发时用的 —— 你在 PC 上训练模型、转换格式、调试性能，用的都是工具链。
它们的关系是这样的：
| 维度 | SDK | 工具链 |
|---|---|---|
| 使用时机 | 运行时（设备端） | 开发时（PC 端） |
| 主要功能 | 采集、预处理、推理、后处理 | 模型训练、量化、转换、性能分析 |
| 输出产物 | 可执行程序、动态库 | 模型文件、配置文件、日志 |
| 典型工具 | SDK API、运行时库 | 模型转换器、性能分析器、调试器 |
说白了，工具链帮你把模型「做好」，SDK 帮你把模型「用好」。两者缺一不可。
我个人习惯的开发流程是这样的：先用工具链把模型量化成 INT8 格式，然后用 SDK 的 profiling 工具看看推理耗时，哪里慢了再回头优化模型结构。来回迭代几次，性能就稳了。
总结一下：
- SDK 是四层架构：采集 → 预处理 → 推理 → 后处理
- 每一层都有它的职责和坑，别想着跳过
- SDK 和工具链是「运行时」和「开发时」的关系，配合使用才能发挥最大效能
嗯，这一章的内容就到这儿。下一章我们会深入采集层，聊聊摄像头选型和数据流优化的那些事。