3、材料数据采集与生成：高通量实验数据采集技术、高通量计算数据生成方法（DFT、MD）、数据清洗与预处理流程
做材料研发的朋友都知道，数据是驱动效率的燃料。但燃料的质量，直接决定了引擎能跑多远。这一章，咱们就聊聊数据从哪来、怎么来、来了之后怎么处理才能用。
我个人习惯把数据采集和生成分成两条腿走路：一条是实验腿，一条是计算腿。两条腿都站稳了，数据基础才扎实。
3.1 高通量实验数据采集技术
高通量实验，说白了就是「一次做很多个实验」。传统方法是一个样品一个样品地测，效率低得让人抓狂。高通量技术则是一次制备几十甚至几百个样品，然后快速表征。
核心思路：组合合成 + 快速表征 + 自动化流程。
关键点：高通量实验不是简单堆量，而是「设计-制备-测试-分析」闭环的自动化。
3.1.1 组合材料芯片技术
我在项目中遇到过最典型的案例，就是薄膜材料库。用磁控溅射或脉冲激光沉积，配合掩膜板移动，可以在一个基片上做出成分梯度变化的样品库。一个2英寸的基片，能覆盖几百个不同成分的点。
- 共溅射法：多个靶材同时溅射，通过控制功率和位置形成梯度
- 扩散多元节：把几种金属块压在一起，高温扩散后形成连续成分变化
- 微流控合成：适合纳米材料、量子点的快速合成筛选
3.1.2 快速表征技术
样品做出来了，怎么快速测？这里有几个常用手段：
| 表征手段 | 通量级别 | 适用场景 |
|---|---|---|
| 自动XRD | ~100点/天 | 晶体结构、物相鉴定 |
| 自动纳米压痕 | ~500点/天 | 力学性能（硬度、模量） |
| 自动光谱（Raman/PL） | ~1000点/天 | 光学性质、带隙、缺陷 |
| 自动电学测试 | ~200点/天 | 电阻、霍尔效应、I-V曲线 |
我的经验：自动XRD测一个点大概2-3分钟，但数据质量参差不齐。我曾经遇到过样品表面不平整导致峰位偏移，后来加了个激光测距校准才搞定。嗯，细节决定成败。
3.2 高通量计算数据生成方法
实验数据贵、慢、样本量有限。计算数据则相反——便宜、快、可以大规模生成。但计算数据有个坑：它只是「模拟」，不是「真实」。你想想看，DFT算出来的带隙和实验测的能完全一样吗？很少。
所以我的做法是：计算数据用来做趋势预测和筛选，实验数据用来做最终验证。两者互补，缺一不可。
3.2.1 密度泛函理论（DFT）高通量计算
DFT是目前最主流的电子结构计算方法。高通量DFT的核心是自动化流程：自动建模 → 自动提交计算 → 自动提取结果。
我常用的工具链是：
- Pymatgen + Custodian：自动生成输入文件、纠错、重跑
- Materials Project API：直接拉取已有计算结果，避免重复劳动
- FireWorks：工作流管理，管理成千上万个计算任务
# 一个简单的DFT高通量计算流程示例（伪代码）
from pymatgen.core import Structure
from pymatgen.io.vasp import Poscar, Incar, Kpoints, Potcar
structures = load_structures_from_db('my_structures.db')
for struct in structures:
# 自动生成VASP输入文件
poscar = Poscar(struct)
incar = Incar.from_dict({
'ENCUT': 520,
'ISIF': 3,
'IBRION': 2,
'NSW': 100,
'EDIFF': 1e-5,
'EDIFFG': -0.01
})
kpoints = Kpoints.automatic_density(struct, 1000) # 1000 k-points per atom
# 提交计算任务
submit_vasp_job(poscar, incar, kpoints, potcar)
# 提取结果
energy = parse_energy_from_outcar('OUTCAR')
bandgap = parse_bandgap_from_doscar('DOSCAR')
save_to_db(struct.formula, energy, bandgap)
注意：DFT计算参数设置对结果影响很大。我曾经因为K点密度不够，算出来的形成能偏差了0.3 eV/atom，直接导致筛选出的候选材料全错了。所以，计算前一定要做收敛性测试。
3.2.2 分子动力学（MD）高通量计算
DFT算的是静态性质，MD算的是动态过程。比如扩散系数、热稳定性、力学响应，这些都得靠MD。
高通量MD的难点在于：力场参数化。不同材料体系需要不同的力场，手动调参太慢。我建议用自动力场拟合工具，比如：
- DP-GEN：深度势能生成器，自动迭代训练力场
- GAP：高斯近似势，适合小体系高精度
- LAMMPS + 自动脚本：批量提交不同温度、压力下的MD模拟
举个例子，我做过一个锂离子扩散系数的筛选项目。对100种候选固态电解质，每个跑5个温度点的MD，自动提取MSD（均方位移）算扩散系数。整个过程跑了大概一周，但要是手动操作，三个月都搞不完。
3.3 数据清洗与预处理流程
数据采集完了，不管是实验的还是计算的，都不能直接用。为什么？因为原始数据里全是坑。
我总结了一个「三筛三洗」流程：
- 第一筛：格式统一——不同仪器、不同软件输出的格式五花八门，先转成统一格式（比如JSON或HDF5）
- 第二筛：异常值剔除——用统计方法（IQR、Z-score）或物理约束（比如带隙不能为负）过滤明显错误的数据
- 第三筛：缺失值处理——删除缺失过多的样本，或用插值、模型预测填补少量缺失
- 第一洗：标准化/归一化——不同特征的量纲差异巨大，不做归一化模型根本学不动
- 第二洗：特征工程——从原始数据中构造更有物理意义的特征（比如从成分到电负性差、原子半径比）
- 第三洗：数据增强——对于小样本数据，用噪声注入、SMOTE等方法扩充
核心原则：Garbage in, garbage out。数据清洗花的时间，永远值得。
3.3.1 一个实际的数据清洗案例
我曾经处理过一批来自不同实验室的带隙数据。有的用Tauc plot算的，有的用微分反射率算的，还有的直接从文献里抄的。结果一合并，同一个材料带隙能差0.5 eV。
我的处理方法是：
- 先按测试方法分组，分别做统计
- 对每个组内，用IQR方法剔除离群点
- 然后做跨组校准：找一批标准样品，建立不同方法之间的线性映射关系
- 最后统一归一化到同一个参考标准
嗯，这个过程很繁琐，但做完之后数据质量明显提升，后续建模的R²从0.6直接跳到了0.85。
3.3.2 数据预处理代码示例
import pandas as pd
import numpy as np
from sklearn.preprocessing import StandardScaler
from sklearn.impute import SimpleImputer
# 加载原始数据
df = pd.read_csv('raw_materials_data.csv')
# 第一步：格式统一 - 列名标准化
df.columns = [col.strip().lower().replace(' ', '_') for col in df.columns]
# 第二步：异常值剔除 - 基于物理约束
df = df[(df['band_gap'] >= 0) & (df['band_gap'] <= 20)] # 带隙合理范围
df = df[(df['formation_energy'] > -10) & (df['formation_energy'] < 5)] # 形成能合理范围
# 第三步：缺失值处理
imputer = SimpleImputer(strategy='median')
df_imputed = pd.DataFrame(imputer.fit_transform(df.select_dtypes(include=[np.number])),
columns=df.select_dtypes(include=[np.number]).columns)
# 第四步：标准化
scaler = StandardScaler()
features = ['band_gap', 'formation_energy', 'volume_per_atom', 'density']
df_scaled = scaler.fit_transform(df_imputed[features])
print(f"清洗前样本数: {len(df)}，清洗后样本数: {len(df_imputed)}")
print("数据清洗完成，准备进入建模阶段。")
避坑指南：我曾经在标准化之前忘了剔除异常值，结果一个离群点把整个分布的均值和方差都拉偏了，模型训练出来完全不能用。所以顺序很重要：先剔除异常值，再做标准化。
3.4 本章知识体系总览
为了让你更直观地理解这一章的内容结构，我画了一张流程图。它把数据采集、生成、清洗三个环节串起来了，你看一眼就能明白整体逻辑。
这张图把本章的核心逻辑讲清楚了：实验和计算两条数据来源，最终汇入数据清洗流程，输出高质量数据集。你想想看，如果没有清洗这一步，再多的数据也只是垃圾堆。