图像传感器与原始数据解析

📚 共计 30 章节
01
图像传感器概述
从胶片到CMOS的演进史 · 主流传感器类型(CCD vs CMOS) · 关键性能指标(分辨率、帧率、动态范围、信噪比)
演进史CCD/CMOS性能指标
02
光电转换原理
光电效应基础 · 像素结构(微透镜、滤光片、光电二极管) · 量子效率与光谱响应
光电效应像素结构量子效率
03
彩色滤波阵列(CFA)
Bayer模式详解 · RGB-IR模式 · 其他CFA模式(X-Trans、Quad Bayer) · 去马赛克算法基础
BayerRGB-IR去马赛克
04
模拟前端(AFE)与读出电路
像素复位与曝光 · 相关双采样(CDS) · 行选通与列并行读出 · 增益放大器
CDS列并行增益
05
模数转换器(ADC)
单斜率ADC · 逐次逼近寄存器(SAR)ADC · 列并行ADC · ADC分辨率与转换速率
单斜率SAR列并行
06
原始数据格式
RAW8/10/12/16位深详解 · MIPI CSI-2 RAW格式 · DNG格式标准 · Bayer RAW存储布局
RAW位深MIPIDNG
07
传感器接口协议
MIPI CSI-2物理层与协议层 · LVDS与Sub-LVDS · HiSPi接口 · 并行接口
MIPILVDSHiSPi
08
曝光控制基础
滚动快门与全局快门 · 曝光时间与积分时间 · 电子快门机制 · 行曝光时间计算
滚动/全局快门积分时间电子快门
09
增益控制
模拟增益与数字增益 · 模拟增益的噪声特性 · 数字增益的量化误差 · 自动增益控制(AGC)策略
模拟/数字增益噪声AGC
10
帧率与时序
帧同步信号(VSYNC/HSYNC) · 行消隐与帧消隐 · 帧率计算公式 · 高帧率模式配置
VSYNC消隐帧率计算
11
黑电平校准(BLC)
光学黑电平(OB)区域 · 黑电平采样与校正 · 暗电流补偿 · 温度对黑电平的影响
OB区域暗电流温度补偿
12
坏点校正(DPC)
静态坏点与动态坏点 · 坏点检测算法(梯度法、邻域统计) · 坏点替换策略(均值/中值)
静态/动态梯度法中值替换
13
镜头阴影校正(LSC)
光晕现象成因 · 增益校正原理 · 网格校正表(LSC Table) · 校正系数插值
光晕LSC Table插值
14
原始数据预处理流程
数据对齐与位深转换 · 线性化处理 · 白平衡预处理 · 去噪预处理
位深转换线性化白平衡
15
传感器控制寄存器
I2C/SPI寄存器读写 · 曝光与增益寄存器配置 · 模式切换寄存器 · 厂商私有寄存器
I2C/SPI寄存器模式切换
16
驱动开发基础
Linux V4L2框架 · Sensor驱动 Probe 流程 · 设备树配置 · 上电时序控制
V4L2Probe设备树
17
原始数据捕获实战
使用 v4l2-ctl 捕获RAW帧 · Python调用OpenCV读取RAW数据 · 保存为DNG文件
v4l2-ctlOpenCVDNG
18
RAW数据可视化
Bayer到RGB的简单转换 · 伪彩色显示 · 直方图分析 · RAW数据质量评估
Bayer2RGB伪彩色直方图
19
噪声分析
光子散粒噪声 · 读出噪声 · 固定模式噪声(FPN) · 行噪声与列噪声 · 噪声测量方法
散粒噪声FPN行/列噪声
20
动态范围与HDR
传感器动态范围定义 · 多重曝光HDR · DOL-HDR模式 · 行交织HDR · 本地HDR处理
动态范围DOL-HDR行交织
21
温度与功耗管理
传感器温度特性 · 热噪声与暗电流 · 功耗模式(Active/Standby/Sleep) · 帧率与功耗权衡
热噪声暗电流功耗模式
22
多传感器同步
硬件同步信号(FSIN/STROBE) · 帧同步与曝光同步 · 多摄像头时间戳对齐 · 软件同步策略
FSIN帧同步时间戳对齐
23
传感器测试与调优
测试图卡与光源 · 灵敏度测试 · 线性度测试 · 信噪比测试 · 调优流程
测试图卡灵敏度线性度
24
RAW域图像处理
黑电平校正实现 · 增益与白平衡实现 · 去马赛克算法实现 · 色彩校正矩阵(CCM)
黑电平校正去马赛克CCM
25
ISP Pipeline概述
RAW域处理 · RGB域处理 · YUV域处理 · ISP硬件与软件分工 · 典型ISP流程
RAW域RGB域YUV域
26
传感器选型指南
分辨率与帧率权衡 · 像素尺寸与灵敏度 · 全局快门 vs 滚动快门 · 工业与消费级传感器对比
选型全局快门工业/消费
27
常见传感器型号解析
Sony IMX系列 · OmniVision OV系列 · Onsemi AR系列 · 安森美与思特威
IMXOVAR系列
28
原始数据压缩
无损压缩(JPEG-LS、FLIF) · 有损压缩(JPEG XS) · 传感器内压缩 · 压缩对图像质量的影响
JPEG-LSJPEG XS传感器内压缩
29
新兴传感器技术
堆叠式传感器 · 全局快门CMOS · 事件相机(Event Camera) · 量子图像传感器(QIS)
堆叠式事件相机QIS
30
综合实战
搭建RAW数据采集系统 · 编写完整的RAW解析与预处理流水线 · 输出标准DNG文件 · 性能分析与优化
采集系统DNG输出性能优化