材料数据基础：材料数据库介绍、数据采集与清洗、数据标注与标准化

做材料AI模型，说白了就是「喂数据」。

我见过太多人，模型选得花里胡哨，调参调得废寝忘食，最后效果不行。为什么？数据烂了。你想想看，垃圾进垃圾出，这是铁律。今天咱们就把材料数据这块地基打牢。

材料数据库：你的弹药库

材料数据库不是什么新鲜概念。但很多人以为数据库就是「存数据的地方」，这个理解太浅了。

我个人习惯把材料数据库分成三类：

• 公开数据库：比如 Materials Project、OQMD、NOMAD。这些是宝藏，但也是坑。我曾在 Materials Project 上拉过一批钙钛矿数据，结果发现有些结构的能量计算参数不一致。嗯，这里要注意：公开数据不代表干净数据。
• 实验数据库：你实验室自己测出来的。比如 XRD 图谱、拉伸曲线、电导率。这类数据最珍贵，但也是最乱的。不同仪器、不同批次、不同操作员，数据格式五花八门。
• 文献数据库：从论文里扒出来的。我做过一个项目，从 200 篇论文里手动提取了 3000 条合金成分-性能数据。那叫一个酸爽。后来我学乖了，用 NLP 工具辅助提取。

数据采集：从源头把控质量

数据采集听起来简单，但细节决定成败。

实验数据采集，我建议你做到三点：

1. 统一命名规范：别出现「样品1」、「测试2」这种名字。我习惯用「材料名_批次_测试日期_测试条件」的格式。比如 TiO2_Batch3_20240315_Annealed600C。
2. 记录元数据：温度、压力、升温速率、仪器型号、操作员。这些信息在建模时可能成为关键特征。我吃过亏——有一次模型死活拟合不好，最后发现是不同批次的退火温度差了 10 度。
3. 自动化采集：能自动就别手动。手动输入数据，出错率至少 5%。我写过一个 Python 脚本，直接从万能试验机导出 CSV 文件，自动解析并存入数据库。

文献数据采集，这里有个避坑指南：

数据清洗：80% 的时间花在这里

做材料 AI，数据清洗占掉你 80% 的时间。这不是夸张，是事实。

常见的脏数据有哪些？

问题类型	例子	处理方法
缺失值	某条数据的带隙值为空	删除、均值填充、或用物理模型预测填充
异常值	熔点显示 5000°C（明显不合理）	基于物理常识设定阈值，或用 IQR 方法检测
重复数据	同一组实验被录入了两次	基于关键字段去重
格式不一致	温度有的用 K，有的用 °C	统一单位制
单位错误	弹性模量写成了 GPa，实际是 MPa	结合物理量级判断，或与原始数据核对

我常用的清洗流程是这样的：

import pandas as pd
import numpy as np

# 1. 加载数据
df = pd.read_csv('materials_data.csv')

# 2. 检查缺失
print(df.isnull().sum())

# 3. 处理缺失：带隙缺失用均值填充
df['band_gap'].fillna(df['band_gap'].mean(), inplace=True)

# 4. 检测异常：熔点超过 4000°C 的标记
df.loc[df['melting_point'] > 4000, 'melting_point'] = np.nan

# 5. 统一单位：温度全部转成开尔文
df.loc[df['temp_unit'] == 'C', 'temperature'] = df['temperature'] + 273.15

# 6. 去重
df.drop_duplicates(subset=['composition', 'structure', 'temperature'], inplace=True)

数据标注与标准化：让模型能看懂

数据清洗完了，但模型还看不懂。为什么？因为材料数据是「多模态」的。

你想想看，成分是字符串（比如 LaFeO3），结构是 CIF 文件，性能是数值。模型怎么处理？

数据标注，说白了就是给数据打标签。在材料领域，标注分两种：

• 分类标注：比如「这个材料是导体还是绝缘体？」、「晶体结构是立方还是四方？」
• 回归标注：比如「这个材料的带隙是多少 eV？」、「抗拉强度是多少 MPa？」

我做过一个项目，需要标注 5000 张 SEM 图像的缺陷类型。刚开始我一张张看，眼睛都快瞎了。后来我写了个半自动标注工具——先用预训练模型粗标，再人工校正。效率提升了 10 倍。

数据标准化，这里要分两步走：

第一步：特征标准化

数值型特征，比如温度、压力、浓度，量纲差异巨大。温度可能是 300K，压力可能是 1e5 Pa。如果不标准化，模型会天然偏向数值大的特征。

from sklearn.preprocessing import StandardScaler

scaler = StandardScaler()
df[['temperature', 'pressure', 'concentration']] = scaler.fit_transform(
    df[['temperature', 'pressure', 'concentration']]
)

第二步：成分与结构编码

这是材料 AI 的难点。成分怎么编码？我常用的方法：

• 元素属性统计：计算成分中所有元素的平均电负性、平均原子半径、平均价电子数等。这是最经典的方法。
• One-hot 编码：把元素周期表上的元素都列出来，成分里含有的元素标 1，没有的标 0。简单粗暴，但维度爆炸。
• 图神经网络编码：把晶体结构看成图，原子是节点，键是边。这是目前最前沿的方法，但计算量大。

知识体系总览

下面这张图，是我自己总结的材料数据全流程。你照着这个框架走，基本不会跑偏。

这张图我画了好几个版本才定下来。你看，数据采集是源头，清洗是核心，标注和标准化是桥梁。每一步都绕不开。