一、多模型协同概述：为什么需要多模型、协同工作的典型场景、课程目标与学习路径

各位同学，大家好。我是你们这门课的主讲工程师。咱们开门见山，先聊聊为什么我要专门开一门课讲「多模型协同」。

说实话，几年前我刚接触嵌入式视觉时，也觉得一个模型打天下就够了。你想想看，一个YOLO检测模型，或者一个MobileNet分类模型，跑在树莓派或者Jetson上，不是挺好吗？

但现实很快给了我一巴掌。我在一个工业质检项目里，遇到一个场景：既要检测产品表面有没有划痕，又要判断划痕的深度等级，还得同时识别产品上的字符是否印刷正确。一个模型？根本搞不定。要么精度不够，要么速度太慢，要么模型太大塞不进芯片。

嗯，从那时起，我开始认真琢磨多模型协同这件事。

1.1 为什么需要多模型？

说白了，单个模型的能力是有天花板的。我总结了几点核心原因：

• 任务复杂度太高：一个模型既要检测、又要分类、还要分割，参数量爆炸，推理速度直接崩掉。不如拆成几个小模型，各司其职。
• 硬件资源受限：嵌入式设备就那么点算力和内存。一个大模型跑不动，但两三个轻量级模型轮流跑，反而能塞进去。我在项目中遇到过，一个30MB的模型在老旧芯片上根本跑不起来，拆成三个10MB的模型，配合流水线调度，稳稳的。
• 精度与速度的平衡：有些场景需要快速粗筛，再精细分析。比如安防监控，先用一个轻量模型检测有没有人，再调用高精度模型做人脸识别。这样既省电又高效。
• 模型更新与维护：如果只有一个大模型，改一个功能就得重新训练整个网络。多模型架构下，你只需要替换其中一个子模型，其他部分不动。我团队之前维护一个视觉系统，就是靠这种解耦方式，迭代速度快了一倍。

1.2 协同工作的典型场景

光讲理论没意思，咱们看看实际中哪些地方已经在用多模型协同了。

场景一：安防监控

我记得有个智慧园区项目，摄像头端需要做三件事：人形检测、人脸抓拍、行为识别。如果用一个模型做所有事，帧率掉到个位数。我们当时的方案是：

• 第一级：MobileNet-SSD做快速人形检测，只输出有没有人。
• 第二级：有人时，触发轻量级人脸检测模型，定位人脸区域。
• 第三级：将人脸区域送入ArcFace模型做特征提取，比对底库。

你看，三个模型串行工作，每个模型都很轻量，整体延迟反而比一个大模型低。这就是协同的价值。

场景二：工业质检

工业场景更苛刻。我做过一个PCB板缺陷检测项目，要求同时检测：焊点是否虚焊、线路是否短路、元件是否缺失。每个缺陷类型需要的特征完全不同。

• 一个模型专门做语义分割，定位焊点和线路区域。
• 另一个模型做异常检测，判断区域内的像素是否符合正常分布。
• 第三个模型做分类，对异常区域进行细粒度分级。

三个模型并行推理，最后通过一个决策融合模块输出最终结果。嗯，这里要注意，并行推理时内存带宽容易成为瓶颈，后面章节我会专门讲怎么优化。

场景三：自动驾驶辅助

虽然咱们课程主要聚焦嵌入式，但自动驾驶也是典型的多模型协同场景。车道线检测、障碍物检测、交通标志识别，每个任务独立模型，通过时序融合和决策仲裁来保证安全。

场景	模型组合	协同方式	关键挑战
安防监控	检测+识别+比对	串行流水线	延迟累积
工业质检	分割+异常+分类	并行+融合	内存带宽
自动驾驶	检测+分割+跟踪	时序协同	实时性

1.3 课程目标与学习路径

这门课不是讲理论，而是讲实战。我的目标很明确：

• 让你掌握多模型协同的架构设计方法：什么时候用串行，什么时候用并行，什么时候用级联。
• 让你学会在嵌入式平台上部署多模型：包括模型转换、内存管理、调度策略。
• 让你能解决实际项目中的协同问题：比如模型间数据传递的延迟、异构芯片的负载均衡。

学习路径我建议这样走：

1. 先理解基础：本章就是打地基，搞清楚为什么需要多模型。
2. 再学架构模式：后面几章会讲串行、并行、级联、混合等模式，每种模式我都会给代码示例。
3. 然后深入部署优化：模型量化、算子融合、内存复用，这些是嵌入式部署的硬功夫。
4. 最后实战项目：我们会拿一个完整的安防或质检项目，从零搭建多模型系统。

1.4 避坑指南

最后，分享几个我踩过的坑：

• 不要盲目堆模型：我曾经在一个项目里用了5个模型，结果发现3个就够了。多一个模型，就多一份延迟和内存开销。先分析任务，再决定模型数量。
• 注意模型间的数据格式：不同模型的输入输出格式可能不同，比如一个模型输出是FP32，另一个模型输入要求INT8。中间需要做转换，这个转换本身也会消耗算力。
• 调度策略很重要：多模型不是简单地把模型塞进去就行。谁先跑、谁后跑、跑完数据怎么传，这些都需要精心设计。我见过有人用全局锁来同步模型，结果性能直接腰斩。

好了，第一章就到这里。下一章我们会深入讲多模型协同的几种架构模式，我会带代码和实际案例。咱们下节课见。