1、嵌入式音视频管道概述

大家好，我是你们的嵌入式音视频课程讲师。今天咱们聊聊音视频管道这个概念。

说实话，我第一次接触「音视频管道」这个词，是在一个做智能摄像头的项目里。当时团队里有个老外，张口闭口就是「pipeline」。我心想，这不就是数据流吗？后来踩了不少坑，才真正理解它背后的分量。

什么是音视频管道？

音视频管道，说白了就是一条数据流水线。

从摄像头采集原始图像，到最终在屏幕上显示出来，中间经过的每一步——采集、处理、编码、传输、解码、渲染——这些环节串起来，就是一条管道。

我习惯把它想象成工厂里的传送带。原材料（音视频数据）从一头进去，经过一道道工序，最后变成成品（可播放的画面和声音）。

你想想看，如果传送带上某个环节卡住了，整条线都得停。嵌入式系统里尤其如此。

嵌入式系统的特点

做嵌入式音视频，跟你在PC上搞开发完全是两码事。

我刚开始从PC端转到嵌入式时，特别不适应。PC上内存随便用，CPU不够就上GPU。嵌入式？呵呵，资源就那么一丁点。

嵌入式系统有几个让我印象深刻的「脾气」：

• 资源受限：内存可能只有几十MB，CPU主频几百MHz。我做过一个项目，整个系统只有64MB RAM，还得跑Linux + 视频编码，那叫一个抠门。
• 实时性要求高：视频流一帧接一帧，延迟超过100ms，用户就能感觉到卡顿。我曾经调试一个摄像头项目，延迟从120ms降到80ms，整整花了两周。
• 功耗敏感：电池供电的设备，每毫安时都得精打细算。编码器用硬件还是软件，功耗能差好几倍。
• 硬件耦合度高：不像PC上换显卡那么容易，嵌入式里摄像头、编解码器、显示接口，往往都是焊死在板子上的。

对比项	PC平台	嵌入式平台
内存	8GB+	64MB~1GB
CPU	多核3GHz+	单核/双核 1GHz左右
功耗	几十瓦到几百瓦	几百毫瓦到几瓦
开发难度	相对简单	需要懂硬件

管道核心组件介绍

一条完整的音视频管道，通常包含这几个核心组件。我按数据流动的顺序来讲：

1. 采集模块

这是管道的入口。摄像头采集图像，麦克风采集声音。

嵌入式里常用的接口有MIPI CSI、USB、并行接口。我个人比较喜欢MIPI CSI，带宽大、抗干扰好。但要注意，不同厂家的摄像头驱动差异很大，调起来挺费劲的。

我记得有个项目，摄像头死活不出图。查了两天，最后发现是时钟配置错了。嗯，这种坑踩过一次就记住了。

2. 预处理模块

原始数据不能直接用。图像需要做白平衡、降噪、缩放。音频需要做回声消除、降噪。

这里有个经验：预处理尽量用硬件模块。我在一个项目里用CPU做图像缩放，结果CPU占用率直接飙到80%，视频都卡成PPT了。后来换成硬件scaler，CPU占用降到5%。

3. 编解码模块

这是管道里最耗资源的环节。

H.264、H.265、JPEG，这些编码器各有各的脾气。嵌入式里通常用硬件编解码器，效率高、功耗低。

我曾经调试过一个H.265编码器，输出画面全是马赛克。查了半天，发现是码率控制参数设错了。嗯，编码器的参数调优，真的是门手艺活。

4. 传输模块

数据要送到远端，或者存到本地。常用的方式有RTSP、RTMP、HLS，或者直接写文件。

传输这块，我最头疼的是网络抖动。视频流对延迟敏感，网络一卡，画面就花。后来我加了jitter buffer，效果好了不少。

5. 渲染模块

最后一步，把数据呈现出来。显示用LCD、HDMI，音频用扬声器或耳机孔。

渲染要注意同步问题。音画不同步，用户一眼就能看出来。我一般用PTS（显示时间戳）来对齐，效果还不错。

一个简单的管道示例

说了这么多，咱们看个实际例子。这是一个最简单的视频采集显示管道：

// 伪代码示例：视频管道
camera_init();           // 初始化摄像头
while(1) {
    frame = camera_capture();  // 采集一帧
    frame = preprocess(frame); // 预处理（缩放、降噪）
    encoder_encode(frame);     // 编码（H.264）
    network_send(frame);       // 网络发送
    display_show(frame);       // 本地显示
}

你看，就这么几行代码，背后涉及的知识点可不少。每个函数展开，都能讲一整节课。

我刚开始做的时候，觉得这玩意儿挺简单。后来发现，真正难的不是写代码，而是让整个管道稳定、高效、低延迟地跑起来。

嗯，这就是咱们这门课要解决的问题。后面的章节，我会带着大家一步步搭建自己的音视频管道。从最简单的单板采集，到复杂的多路流处理，咱们一个一个来。

记住一句话：管道搭得好，调试少烦恼。咱们下节课见。