第4章 可靠性数据收集与整理

做可靠性测试这么多年，我最大的体会就是：数据质量决定了分析结果的生死。你想想看，再漂亮的统计模型，喂进去一堆垃圾数据，出来的只能是更漂亮的垃圾。这一章，我就跟你聊聊数据收集与整理的那些坑和门道。

4.1 数据来源：你的数据从哪来？

可靠性数据不是凭空冒出来的。我个人习惯把数据来源分成三类，每一类都有它的脾气。

来源类型	典型场景	特点
实验室测试	加速寿命试验、环境应力筛选	可控、成本高、样本量有限
现场反馈	售后维修记录、客户投诉	真实、数据杂乱、缺失严重
生产数据	老化筛选、出厂检验	量大、周期短、截尾多

我在项目中遇到过最头疼的事——现场数据里混着「未失效但被客户退回」的样品。你以为是失效数据，其实人家只是不喜欢这个颜色。嗯，数据来源的追溯，比你想的重要得多。

4.2 数据类型：完全数据 vs 截尾数据

这是可靠性分析的灵魂概念。说白了，就是「我到底看到了多少真相」。

4.2.1 完全数据

所有样品都失效了，而且你知道每个样品确切的失效时间。比如你拿10个灯泡一直点着，直到全部烧坏，记录下每个灯泡的寿命。这就是完全数据。完美，但现实中很少见——谁会等到所有产品都坏了才出报告？

4.2.2 截尾数据

这才是常态。截尾数据又分三种，我建议你记牢：

• 右截尾（最常见）：试验结束了，有些样品还没坏。你只知道它「至少活了多久」。
• 左截尾：样品在开始观测前就已经失效了。比如你接手一批设备，发现有几台已经坏了，但不知道具体什么时候坏的。
• 区间截尾：你知道失效发生在一个时间段内，但不知道精确时刻。比如巡检时发现设备坏了，上次巡检还好好的。

我曾经犯过一个低级错误——把右截尾数据当成完全数据，直接用平均寿命去算MTBF。结果算出来的值偏小，被客户追着问「你们的产品是不是比标称的差？」。后来老老实实用了极大似然估计，才把账算平。

4.3 数据清洗与预处理：脏活累活，但躲不掉

说实话，数据清洗占了我整个分析流程的60%时间。别嫌烦，这一步做不好，后面全是白干。

4.3.1 常见的数据「脏」问题

• 缺失值：失效时间没填、样品编号丢了、应力条件没记录。我见过最离谱的——整张表只有「失效」一列打了勾，其他全空。
• 异常值：某个样品刚上电就坏了，或者用了十年还没坏。前者可能是安装事故，后者可能是样品被遗忘在角落里了。
• 重复记录：同一个失效事件被录了两次，或者不同系统里对同一台设备的编号不一致。
• 格式混乱：日期格式不统一（2024-01-01 vs 2024/1/1 vs 2024年1月1日），时间单位混用（小时 vs 天 vs 循环次数）。

4.3.2 清洗步骤，我一般这么干

1. 去重：按样品ID和时间戳去重。如果ID都没有，那就麻烦了——我建议你回头补数据治理的课。
2. 格式统一：所有时间转成统一格式，最好用Unix时间戳或ISO 8601。单位全部标准化，比如寿命统一用「小时」。
3. 异常值处理：用箱线图或3σ原则先筛一遍。但别急着删——异常值可能是真正的早期失效，也可能是记录错误。我会手动核查。
4. 缺失值处理：如果缺失的是失效时间，且样品确实失效了，那就标记为「左截尾」或「区间截尾」。如果缺失的是关键字段（比如应力条件），我倾向于直接剔除这条记录。

4.3.3 一个简单的数据清洗示例

假设你有一份原始数据，长这样：

样品ID, 失效时间(天), 截尾类型, 备注
A001, 120, 完全, 
A002, , 完全, 时间未记录
A003, 365, 右截尾, 试验结束未失效
A004, 30, 完全, 
A005, 30, 完全, 重复记录
A005, 30, 完全, 重复记录

清洗后：

• A002：缺失失效时间，且标记为「完全」——矛盾。核查后确认是记录错误，实际是右截尾，修正为「右截尾，失效时间=365天」。
• A005：重复记录，删除一条。
• A003：右截尾数据，保留原样。

最终数据：

样品ID, 失效时间(天), 截尾类型
A001, 120, 完全
A002, 365, 右截尾
A003, 365, 右截尾
A004, 30, 完全
A005, 30, 完全

4.4 知识体系：数据收集与整理的核心逻辑

下面这张图，是我自己总结的。每次做数据整理前，我都会瞄一眼，提醒自己别漏了哪一步。

这张图看着简单，但每一步都有坑。我建议你把它打印出来贴在工位上。每次拿到新数据，就按这个流程走一遍，基本不会出大错。

---

好了，数据收集与整理就聊到这儿。记住一句话：你花在数据清洗上的每一分钟，都会在后续分析中十倍回报给你。别嫌烦，这是可靠性工程师的基本功。