第二章：数据采集与预处理——传感器噪声来源分析
做生物光学检测，说白了就是跟微弱的光信号打交道。你想想看，细胞里那点荧光，本来就很弱，再加上传感器自身的各种“小动作”，数据质量很容易被污染。我刚开始接触这个领域时，就被噪声坑过好几次。今天咱们就来聊聊，这些噪声到底从哪来，又该怎么处理。
2.1 传感器噪声的三大“元凶”
传感器噪声，我习惯把它们分成三类：暗电流、散粒噪声和读出噪声。这三兄弟各有各的脾气，咱们一个一个说。
2.1.1 暗电流噪声
暗电流，顾名思义，就是没有光的时候，传感器自己产生的电流。为什么会这样？因为半导体材料里的热激发，会不断产生电子-空穴对。温度越高，暗电流越大。我在项目中遇到过，夏天实验室没开空调，CCD相机的暗电流直接翻了一倍。
关键点：暗电流是温度的函数，每升高6-8°C，暗电流大约翻倍。所以，制冷是抑制暗电流最直接的手段。
暗电流的统计特性是泊松分布，均值等于方差。这意味着，暗电流噪声的强度，跟积分时间成正比。积分时间越长，暗电流积累越多，噪声也就越大。
2.1.2 散粒噪声
散粒噪声是光本身的量子特性决定的。光子的到达是随机的，服从泊松分布。即使光源非常稳定，每个像素接收到的光子数也会有涨落。这个涨落，就是散粒噪声。
嗯，这里要注意：散粒噪声是无法消除的，它是光信号的固有属性。我们能做的，就是通过增加光子数来提高信噪比。说白了，信号越强，散粒噪声的相对影响就越小。
我的经验：在低光条件下，散粒噪声是主要的噪声源。我曾经做过一个单分子荧光实验，信号弱到每个像素只有几十个光子，散粒噪声几乎淹没了信号。后来我通过延长曝光时间，让每个像素收集到上千个光子，信噪比才勉强够用。
2.1.3 读出噪声
读出噪声是传感器在将电荷转换为电压、再经过模数转换的过程中引入的噪声。它跟光信号无关，是电子电路的“底噪”。读出噪声通常用均方根电子数（e- rms）来表示，好的科学级CMOS可以做到1-2 e- rms，而普通工业相机可能在10 e- rms以上。
我曾经踩过一个坑：用一款便宜的USB相机做荧光成像，读出噪声高达15 e- rms，导致弱信号完全被淹没。后来换了制冷sCMOS，读出噪声降到1.6 e- rms，效果天差地别。
| 噪声类型 | 来源 | 统计特性 | 抑制方法 |
|---|---|---|---|
| 暗电流噪声 | 热激发 | 泊松分布 | 制冷、短积分时间 |
| 散粒噪声 | 光子量子涨落 | 泊松分布 | 增加光强/积分时间 |
| 读出噪声 | 电子电路 | 高斯分布 | 选择低噪声传感器 |
2.2 数据清洗流程
拿到原始数据后，不能直接分析。我个人的习惯是，先做三步：去噪、基线校正、归一化。这三步做好了，后面的分析才能靠谱。
2.2.1 去噪
去噪的方法很多，但核心思路就一个：把噪声和信号分开。常用的方法有：
- 中值滤波：对每个像素，用邻域内的中值代替原值。对椒盐噪声特别有效，但会损失一些细节。
- 高斯滤波：用高斯核做卷积，平滑效果好，但会模糊边缘。
- 小波去噪：把信号分解到不同尺度，在小波域里阈值处理。对保留细节比较好，我比较喜欢用。
避坑指南：我曾经在去噪时用了太大的滤波核，结果把细胞内的亚结构都抹平了。后来我养成了一个习惯：去噪前后，一定要对比图像的功率谱，确保没有过度平滑。
2.2.2 基线校正
基线校正，就是去掉背景信号。在生物光学检测中，背景可能来自：自动荧光、散射光、暗电流等。常用的方法有：
- 多项式拟合：选取没有信号的区域，拟合一个多项式作为基线，然后减去。
- 形态学操作：用开运算估计背景，然后减去。对不均匀背景效果不错。
- 滚动球算法：模拟一个球在信号曲线上滚动，球底部的轨迹就是基线。我经常用这个方法处理拉曼光谱。
# 一个简单的基线校正示例（Python伪代码）
import numpy as np
from scipy import sparse
from scipy.sparse.linalg import spsolve
def baseline_als(y, lam=1e5, p=0.01, niter=10):
"""Asymmetric Least Squares Smoothing"""
L = len(y)
D = sparse.diags([1,-2,1], [0,-1,-2], shape=(L, L-2))
w = np.ones(L)
for i in range(niter):
W = sparse.spdiags(w, 0, L, L)
Z = W + lam * D.dot(D.T)
z = spsolve(Z, w*y)
w = p * (y > z) + (1-p) * (y < z)
return z
2.2.3 归一化
归一化的目的，是让不同样本、不同批次的数据具有可比性。常用的方法有：
- Min-Max归一化：把数据缩放到[0,1]区间。简单，但对异常值敏感。
- Z-score归一化：减去均值，除以标准差。假设数据服从正态分布。
- 中位数归一化：除以所有样本的中位数。对异常值比较鲁棒，我经常用。
我的建议：归一化方法的选择，取决于你的数据分布。如果数据是偏态的，用中位数归一化比Z-score更合适。如果数据有明确的物理上下界（比如荧光强度不能为负），用Min-Max归一化更直观。
2.3 知识体系框架
下面这张图，是我自己总结的数据采集与预处理的知识体系。你可以把它当作一个检查清单，每次做实验前对照一下。
这张图把整个流程串起来了。从传感器出发，识别三种噪声，然后进入数据清洗的三步流程，每一步都有对应的具体方法。我个人习惯在做实验前，先对着这张图过一遍，确保每个环节都考虑到了。
好了，这一章的内容就到这里。噪声分析和数据清洗是生物光学检测的基础，基础打牢了，后面的分析才能站得住脚。下一章我们会聊到更具体的信号处理技术，到时候再见。
公众号:蓝海资料掘金营，微信deep3321