第四章 良率数据采集：测试数据结构、良率数据库设计、数据清洗与预处理
各位工程师朋友，咱们今天聊聊良率数据的源头——数据采集。说实话，我见过太多项目，模型建得漂漂亮亮，结果一跑数据全是垃圾。为什么？因为数据采集阶段就埋了雷。这一章，我就把我在产线上摸爬滚打的经验，掰开了揉碎了讲给你听。
4.1 测试数据结构：你拿到的是什么数据？
先搞清楚一个基本问题：测试数据长什么样？
我刚开始做良率分析时，拿到一份测试报告，里面密密麻麻全是数字。当时我心想，这不就是一堆电压、电流值嘛。后来才发现，测试数据其实有固定的结构，你搞不懂这个结构，后面所有分析都是空中楼阁。
典型的半导体测试数据，通常包含以下几类：
- 晶圆级数据：每颗芯片在晶圆上的位置坐标（X, Y）、测试结果（Pass/Fail）、各项电性参数（Vt、Ids、Rs等）
- 封装级数据：封装后的最终测试结果、温度特性、可靠性测试数据
- 工艺参数数据：光刻对准精度、膜厚均匀性、掺杂浓度等
这里我特别想强调一点：数据的时间戳。我在一个项目中吃过亏，数据采集时没记录时间，结果分析良率趋势时完全对不上号。你想想看，产线每天都在调参数，没有时间戳，你怎么知道哪个参数对应哪批产品？
核心要点：测试数据必须包含三个维度——产品ID、测试项目、时间戳。缺一不可。
举个例子，一份标准的晶圆测试数据表，大概长这样：
| Wafer_ID | Die_X | Die_Y | Test_Item | Value | Result | Timestamp |
|---|---|---|---|---|---|---|
| W001 | 10 | 15 | Vt | 0.45 | PASS | 2024-01-15 08:30:00 |
| W001 | 10 | 15 | Ids | 1.23 | PASS | 2024-01-15 08:30:05 |
| W002 | 5 | 8 | Vt | 0.52 | FAIL | 2024-01-15 09:15:00 |
看到没？每一行记录一个测试点。这种结构叫长格式数据，方便数据库存储和查询。但做分析时，我们通常要把它转成宽格式——每个测试项目成一列。
4.2 良率数据库设计：别让数据变成一团乱麻
数据库设计，说白了就是怎么把数据存得井井有条。我见过最糟糕的情况：所有数据塞在一个Excel文件里，几十万行，打开都要卡半天。嗯，那不是我干的，是我接手的一个项目。
我个人习惯用关系型数据库来管理良率数据。为什么？因为良率数据天然就是结构化的，关系型数据库的ACID特性保证了数据一致性。
一个典型的良率数据库，至少需要这几张表：
- 产品表：记录产品型号、工艺节点、设计规则等
- 晶圆表：记录每片晶圆的批次、生产日期、设备信息
- 测试结果表：记录每颗芯片的测试数据
- 缺陷表：记录检测到的缺陷类型、位置、大小
- 工艺参数表：记录各工艺步骤的机台参数
这里有个避坑指南：我曾经把测试结果和缺陷信息放在同一张表里，结果查询效率低得吓人。后来才明白，这两类数据更新频率不同，测试数据是批量写入，缺陷数据是增量写入，分开存储才是正道。
我的建议：设计数据库时，先画ER图（实体关系图）。别急着建表，把关系理清楚了再动手。我每次做新项目，至少花一天时间画ER图，后面省下的时间远不止一天。
数据库的索引设计也很关键。你想想看，良率数据动辄上亿条记录，没有索引，查一条数据要全表扫描，那得等到猴年马月？我一般会在Wafer_ID、Timestamp、Test_Item这三个字段上建复合索引，查询效率能提升几十倍。
4.3 数据清洗与预处理：脏数据是良率分析的噩梦
数据清洗，这活儿听起来不高级，但做不好，后面所有分析都是白搭。我常说一句话：垃圾进，垃圾出。你模型再牛，喂进去的是脏数据，出来的结果也是废的。
常见的脏数据问题有哪些？我列个清单：
- 缺失值：某个测试项没测到，或者数据丢失
- 异常值：测试机台故障，导致数据超出物理极限
- 重复数据：同一颗芯片被测试了两次，记录重复
- 格式不一致：有的记录用"PASS"，有的用"1"，有的用"True"
- 逻辑错误：比如测试结果为PASS，但参数值明显超出规格
怎么处理？我分享一套我常用的流程：
- 数据概览：先看数据量、字段类型、基本统计量。用
df.info()和df.describe()快速扫一眼。 - 缺失值处理：缺失率低于5%的，直接删除；高于5%的，用均值、中位数或模型预测填充。我个人倾向用中位数，因为良率数据常有偏态分布。
- 异常值检测：用3σ原则或IQR方法。但要注意，良率数据中的异常值不一定是错误，可能是真正的工艺异常。我会先标记，再结合工艺知识判断。
- 重复数据去重：按Wafer_ID+Die_X+Die_Y+Test_Item去重，保留时间戳最新的那条。
- 格式统一：把所有分类变量转成统一编码，比如Pass=1, Fail=0。
举个例子，用Python做数据清洗的代码片段：
import pandas as pd
import numpy as np
# 读取数据
df = pd.read_csv('yield_data.csv')
# 检查缺失值
print(df.isnull().sum())
# 处理缺失值：用中位数填充数值型字段
numeric_cols = ['Vt', 'Ids', 'Rs']
for col in numeric_cols:
df[col].fillna(df[col].median(), inplace=True)
# 异常值检测：3σ原则
for col in numeric_cols:
mean = df[col].mean()
std = df[col].std()
df = df[(df[col] >= mean - 3*std) & (df[col] <= mean + 3*std)]
# 去重
df.drop_duplicates(subset=['Wafer_ID', 'Die_X', 'Die_Y', 'Test_Item'],
keep='last', inplace=True)
# 格式统一
df['Result'] = df['Result'].map({'PASS': 1, 'FAIL': 0, 'Pass': 1, 'Fail': 0})
print(f"清洗后数据量: {len(df)}")警告：数据清洗时，一定要保留原始数据的备份！我见过有人直接覆盖原始数据，结果发现清洗逻辑有bug，想恢复都来不及。我的习惯是：原始数据只读，清洗后的数据另存为新文件。
还有一个容易被忽略的点：数据标准化。不同测试机台、不同批次的数据，量纲可能不同。比如Vt的单位有的是mV，有的是V。不统一的话，模型训练时数值大的特征会主导结果。我一般会用Z-score标准化：
from sklearn.preprocessing import StandardScaler
scaler = StandardScaler()
df[['Vt_scaled', 'Ids_scaled']] = scaler.fit_transform(df[['Vt', 'Ids']])最后，我想说一句：数据清洗没有一劳永逸的方案。每个项目的数据特点都不一样，你得先花时间理解数据，再动手清洗。我每次拿到新数据，至少花40%的时间在清洗和预处理上。别嫌麻烦，这一步省了，后面全是坑。
好了，这一章的内容就到这里。下一章我们聊聊良率建模的核心方法，到时候见。