材料数据基础：材料数据库、数据清洗与特征工程、数据增强策略
做AI材料设计，说白了就是让模型学会「看」材料。但模型不是天生的材料学家，它得靠数据喂出来。我这些年踩过最大的坑，就是以为数据越多越好——结果垃圾数据喂进去，模型学了一堆错误规律，白白浪费了几个月算力。
今天咱们就聊聊材料数据的那些事儿。从哪找数据、怎么洗干净、怎么造出新数据，一条龙讲清楚。
2.1 材料数据库：你的免费「材料图书馆」
我个人习惯，做任何新材料项目之前，先翻数据库。不是自己从头算，而是看看别人已经算过什么、测过什么。这能省下至少一半的试错时间。
2.1.1 Materials Project
这是目前最主流的材料数据库，由MIT团队维护。里面收录了超过15万种无机材料的计算数据，包括晶体结构、形成能、带隙、弹性常数等等。
我记得第一次用的时候，查一个锂电正极材料，输入化学式，几秒钟就拿到了它的相图、电压曲线和离子迁移路径。嗯，当时我就觉得——这玩意儿是神器。
| 特性 | 说明 |
|---|---|
| 数据量 | 15万+ 无机材料 |
| 数据类型 | DFT计算数据（结构、能量、电子性质） |
| API支持 | RESTful API，Python客户端（pymatgen） |
| 典型应用 | 新材料筛选、相图分析、掺杂设计 |
2.1.2 OQMD（Open Quantum Materials Database）
OQMD是另一个重量级选手，由西北大学团队开发。它更侧重于热力学稳定性，收录了超过100万种材料的计算数据。你想想看，这个量级对于训练生成式模型来说，简直是黄金矿。
OQMD的一个特色是它提供了「相图」的完整数据。我在做高熵合金项目时，就靠OQMD的相图数据来筛选哪些元素组合是热力学稳定的。没有这个数据库，我可能得自己算好几个月。
2.1.3 其他值得关注的数据库
- ICSD（无机晶体结构数据库）：实验数据为主，权威性高，但需要付费
- COD（晶体开放数据库）：免费的开源晶体结构库，适合教学和快速验证
- NOMAD：欧洲的数据库，收录了大量原始DFT计算数据
2.2 数据清洗：别让脏数据毁了你的模型
我曾经接手过一个项目，模型训练出来效果奇差。查了三天，发现是数据里混入了大量「计算不收敛」的垃圾结构。从那以后，我养成了一个习惯——数据清洗花的时间，至少占整个项目时间的30%。
2.2.1 常见的数据污染问题
- 结构不完整：原子坐标缺失、晶胞参数异常
- 能量异常：DFT计算不收敛导致的离谱能量值
- 重复数据：同一个材料被多次计算，结果不一致
- 标签错误：比如把金属氧化物标成了半导体
2.2.2 清洗流程（我常用的）
# 伪代码示例：材料数据清洗流程
def clean_material_data(raw_data):
# 第一步：过滤结构异常
raw_data = filter_invalid_structures(raw_data)
# 第二步：能量合理性检查
raw_data = filter_energy_outliers(raw_data,
z_score_threshold=3)
# 第三步：去重（基于结构相似度）
raw_data = deduplicate_by_structure(raw_data,
similarity_threshold=0.95)
# 第四步：标签一致性校验
raw_data = validate_labels(raw_data)
return raw_data
2.3 特征工程：把材料「翻译」成模型能懂的语言
模型看不懂原子、看不懂晶格。它只认数字。所以我们需要把材料的结构、成分、性质，全部「翻译」成数值特征。这一步做得好不好，直接决定了模型的上限。
2.3.1 常用的材料特征类型
| 特征类型 | 举例 | 适用场景 |
|---|---|---|
| 元素属性 | 原子半径、电负性、价电子数 | 成分驱动的预测 |
| 结构描述符 | 配位数、键长分布、对称性 | 晶体结构分类 |
| 组合特征 | 平均电负性、元素比例方差 | 合金/固溶体设计 |
| 图特征 | 原子邻接矩阵、图拉普拉斯 | 图神经网络输入 |
2.3.2 我踩过的坑：特征冗余
刚开始做特征工程时，我恨不得把所有能想到的特征都塞进去。结果模型过拟合得一塌糊涂。后来才明白——特征不是越多越好，而是越「精」越好。
举个例子：原子半径和原子体积高度相关，同时用这两个特征，等于给模型喂了两份相同的信息。模型会「以为」这个信息很重要，但实际上只是噪声。
2.4 数据增强：让有限的数据「变」出更多
材料数据不像图像数据那么好「造」。你不能随便旋转、裁剪一个晶体结构，因为那可能变成完全不同的材料。但也不是没办法——我总结了三种靠谱的增强策略。
2.4.1 策略一：结构扰动
对已知的稳定结构，施加微小的原子位移（比如0.01 Å），生成新的结构。这些结构在物理上是合理的，只是能量略高一点。模型学了这些「近邻」结构，泛化能力会更强。
# 结构扰动示例
from pymatgen.core import Structure
import numpy as np
def perturb_structure(structure, std=0.01):
"""对原子坐标施加高斯扰动"""
perturbed = structure.copy()
for site in perturbed.sites:
noise = np.random.normal(0, std, 3)
site.coords += noise
return perturbed
2.4.2 策略二：元素替换
把结构中的某个元素替换为同族的其他元素。比如把Si替换为Ge，结构骨架不变，但电子性质会变化。这样生成的「虚拟材料」在物理上是合理的，而且能大幅扩充数据量。
我在做热电材料项目时，就用这个策略把数据量从500扩充到了5000。模型训练出来的效果，比只用原始数据好了将近20%。
2.4.3 策略三：组合增强
把多个策略组合使用。比如先做元素替换，再做结构扰动。这样生成的数据多样性更高，但也需要更严格的物理合理性检查。
2.5 本章知识体系
下面这张图，是我梳理的材料数据基础核心逻辑。从数据源到清洗、特征工程、增强，每一步都环环相扣。
说白了，材料数据基础就是三个字：找、洗、造。找对数据库，洗掉脏数据，造出新样本。这三步走扎实了，后面的生成式模型才能发挥真正的威力。
我见过太多人一上来就调模型、改网络结构，结果数据质量一塌糊涂，模型再花哨也白搭。记住：在材料科学里，数据质量永远比模型复杂度重要。
公众号:蓝海资料掘金营，微信deep3321