4. 摄像头驱动开发：MIPI CSI-2接口调试、Sensor驱动移植（OV5640/IMX335）、图像采集与缓存管理（V4L2框架）

摄像头驱动，说白了就是让CPU和图像传感器能正常“对话”。

我做了这么多年嵌入式，发现很多工程师在摄像头这块容易卡住。不是硬件信号对不上，就是驱动框架不熟。今天咱们就聊聊MIPI CSI-2接口、Sensor驱动移植，还有V4L2框架下的图像采集与缓存管理。

4.1 MIPI CSI-2接口调试：从波形到图像

MIPI CSI-2是摄像头和处理器之间的高速串行接口。它用差分信号传输，一对时钟线加一到四对数据线。

我第一次调MIPI接口时，示波器一接上去，波形看着挺漂亮，但图像就是出不来。后来才发现是D-PHY的电压摆幅没配好。

注意：MIPI信号对PCB走线长度匹配要求很高。差分对之间长度差不要超过5mil，否则容易出时序问题。

调试MIPI接口，我一般按这个顺序来：

  1. 检查硬件连接：确认时钟线和数据线没有接反，供电正常
  2. 配置D-PHY参数：设置HS-TX的电压摆幅（通常200-300mV）、预加重、终端电阻
  3. 验证时钟信号：用示波器看时钟频率是否准确，抖动是否在范围内
  4. 检查数据通道：确认数据通道的LP和HS模式切换正常
  5. 解析图像数据：用逻辑分析仪抓取CSI-2包，检查包头、包尾、ECC校验

我遇到过最坑的一次，是Sensor输出的MIPI时钟频率和SoC支持的频率不匹配。Sensor输出800MHz，但SoC只能支持到750MHz。折腾了两天才发现是时钟分频配置错了。

4.2 Sensor驱动移植：OV5640和IMX335

Sensor驱动移植，核心就是让Linux内核能正确识别和控制摄像头模组。

OV5640是500万像素的经典Sensor，支持RAW和YUV输出。IMX335是索尼的500万像素Sensor，低照度性能更好，常用于医疗显微镜。

移植Sensor驱动，我习惯分三步走：

4.2.1 设备树配置

设备树里要描述Sensor的硬件连接信息：

// OV5640设备树节点示例
&i2c2 {
    ov5640: camera@3c {
        compatible = "ovti,ov5640";
        reg = <0x3c>;
        clocks = <&clks IMX6QDL_CLK_CKO>;
        clock-names = "xclk";
        clock-frequency = <24000000>;
        DOVDD-supply = <®_3p3v>;
        AVDD-supply = <®_2p8v>;
        DVDD-supply = <®_1p5v>;
        reset-gpios = <&gpio1 20 GPIO_ACTIVE_LOW>;
        powerdown-gpios = <&gpio1 19 GPIO_ACTIVE_HIGH>;
        
        port {
            ov5640_ep: endpoint {
                remote-endpoint = <&csi_ep>;
                data-lanes = <1 2>;
                clock-lanes = <0>;
            };
        };
    };
};

IMX335的配置类似，但要注意它的供电时序要求更严格。我曾经因为DVDD上电晚了10ms，导致Sensor初始化失败。

4.2.2 驱动代码适配

Linux内核里已经有OV5640和IMX335的驱动源码，我们只需要做少量适配：

  • 修改I2C地址（如果硬件设计不同）
  • 调整初始化序列（比如修改分辨率、帧率）
  • 配置MIPI数据通道数（1-lane还是2-lane）
  • 设置曝光和增益范围
小技巧：调试Sensor时，可以先在用户空间用i2c-tools工具读写寄存器，确认I2C通信正常。我经常用i2cget和i2cset来验证Sensor是否响应。

4.2.3 初始化序列优化

Sensor的初始化序列通常是一组寄存器配置。我建议把初始化序列放在一个数组里，方便调试：

static const struct regval_list ov5640_init_sequence[] = {
    {0x3103, 0x11},  // 软件复位
    {0x3008, 0x82},  // 进入待机模式
    {0x3008, 0x42},  // 退出待机模式
    {0x3103, 0x03},  // 系统时钟配置
    // ... 省略中间几百行配置
    {0x3008, 0x02},  // 开始输出图像
};

嗯，这里要注意：不同批次的Sensor，初始化序列可能略有差异。我遇到过OV5640的V1和V2版本，有几个寄存器的默认值不一样。

4.3 图像采集与缓存管理：V4L2框架

V4L2是Linux下视频设备的标准框架。它把摄像头抽象成一个设备文件，应用程序通过ioctl来操作。

V4L2的缓存管理，说白了就是解决一个问题：摄像头采集的数据往哪里放？

4.3.1 缓存队列机制

V4L2用队列来管理缓存。我画个简单的流程：

  1. 应用程序申请N个缓存（VIDIOC_REQBUFS）
  2. 把缓存加入输出队列（VIDIOC_QBUF）
  3. 驱动把图像数据填入缓存，然后放入输入队列
  4. 应用程序从输入队列取出缓存（VIDIOC_DQBUF）
  5. 处理完数据后，再把缓存放回输出队列

这个机制的好处是：缓存可以循环使用，不会因为频繁申请释放导致内存碎片。

4.3.2 三种缓存类型

类型 说明 适用场景
V4L2_MEMORY_MMAP 内核分配缓存，用户空间通过mmap映射 性能要求高，不跨平台
V4L2_MEMORY_USERPTR 用户空间分配缓存，内核直接使用 需要自定义缓存管理
V4L2_MEMORY_DMABUF 通过DMA-BUF共享缓存 需要和其他硬件模块共享数据

我个人习惯用MMAP方式，简单高效。但在医疗设备里，如果图像数据需要传给AI加速器处理，我会用DMABUF，避免数据拷贝。

4.3.3 缓存数量选择

缓存数量不是越多越好。我一般这样选：

  • 3个缓存：最低配置，容易丢帧
  • 4个缓存：常用配置，适合大多数场景
  • 6个以上：高帧率场景，比如60fps以上
注意：缓存数量越多，内存占用越大。一个1080p的YUV图像大约3MB，6个缓存就是18MB。在内存受限的嵌入式系统里，要权衡好。

4.3.4 实际代码示例

下面是一个简化的V4L2采集流程：

// 打开设备
int fd = open("/dev/video0", O_RDWR);

// 查询设备能力
struct v4l2_capability cap;
ioctl(fd, VIDIOC_QUERYCAP, &cap);

// 设置格式
struct v4l2_format fmt;
fmt.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
fmt.fmt.pix.width = 1920;
fmt.fmt.pix.height = 1080;
fmt.fmt.pix.pixelformat = V4L2_PIX_FMT_YUYV;
ioctl(fd, VIDIOC_S_FMT, &fmt);

// 申请缓存
struct v4l2_requestbuffers req;
req.count = 4;
req.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
req.memory = V4L2_MEMORY_MMAP;
ioctl(fd, VIDIOC_REQBUFS, &req);

// 映射缓存
for (int i = 0; i < 4; i++) {
    struct v4l2_buffer buf;
    buf.index = i;
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    ioctl(fd, VIDIOC_QUERYBUF, &buf);
    
    buffers[i].length = buf.length;
    buffers[i].start = mmap(NULL, buf.length,
                            PROT_READ | PROT_WRITE,
                            MAP_SHARED, fd, buf.m.offset);
    
    // 把缓存放入队列
    ioctl(fd, VIDIOC_QBUF, &buf);
}

// 开始采集
enum v4l2_buf_type type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
ioctl(fd, VIDIOC_STREAMON, &type);

// 采集循环
while (1) {
    struct v4l2_buffer buf;
    buf.type = V4L2_BUF_TYPE_VIDEO_CAPTURE;
    buf.memory = V4L2_MEMORY_MMAP;
    
    // 取出已填满的缓存
    ioctl(fd, VIDIOC_DQBUF, &buf);
    
    // 处理图像数据
    process_image(buffers[buf.index].start, buf.bytesused);
    
    // 放回队列
    ioctl(fd, VIDIOC_QBUF, &buf);
}

4.4 医疗设备中的特殊要求

医疗显微镜对图像质量要求很高。我总结了几点经验：

  • 帧率稳定：医疗设备要求帧率波动不超过±1fps。我建议用V4L2的帧间隔控制功能
  • 图像无撕裂：确保缓存切换在VBLANK期间完成。我遇到过因为缓存切换时机不对，导致图像出现撕裂线
  • 低延迟：从Sensor采集到显示，延迟要控制在100ms以内。我一般用零拷贝技术来减少延迟
  • 错误处理：摄像头掉线、I2C通信失败等情况，要有完善的恢复机制

核心要点：

  • MIPI CSI-2调试：先看时钟，再看数据，最后看图像
  • Sensor驱动移植：设备树描述硬件，驱动代码适配差异，初始化序列验证功能
  • V4L2缓存管理：队列机制循环使用，缓存数量4个起步，MMAP方式最常用

摄像头驱动开发，说白了就是让硬件和软件能对上话。MIPI接口是物理层的对话，Sensor驱动是控制层的对话，V4L2框架是数据层的对话。三层都打通了，图像就出来了。

我刚开始做摄像头驱动时，也踩过不少坑。但只要你按照这个思路来，一步步排查，总能调出来。记住：示波器是你的眼睛，I2C工具是你的手，V4L2框架是你的大脑。

← 上一章 📖 返回目录 下一章 →