第三章 材料数据获取：从哪儿搞到靠谱的数据？
做材料性能预测，最头疼的问题是什么？
我个人觉得，不是算法选哪个，也不是模型怎么调参。而是——数据从哪儿来？
你想想看，没有数据，再牛的模型也是空中楼阁。我刚开始做这个方向时，花了整整两个月时间，就干一件事：找数据。那会儿真是踩了不少坑，今天我把这些经验整理出来，希望能帮你少走弯路。
3.1 公开材料数据库：三大金刚
目前学术界和工业界公认的三大公开材料数据库，分别是 Materials Project、OQMD 和 AFLOW。这三个库，我几乎每天都在用。
核心观点：公开数据库是材料数据获取的「第一桶金」，但千万别直接拿来就用，一定要做数据清洗。
3.1.1 Materials Project（MP）
这个库由MIT的Gerbrand Ceder团队主导，目前收录了超过15万种无机材料。我个人习惯把它当作首选，因为它的API接口做得最友好。
怎么用？直接上代码：
# 安装MP API
pip install pymatgen
# 获取数据示例
from pymatgen.ext.matproj import MPRester
API_KEY = "你的API密钥"
with MPRester(API_KEY) as m:
# 查询带隙在1-2eV之间的氧化物
data = m.query(criteria={"elements": {"$in": ["O"]},
"band_gap": {"$gte": 1, "$lte": 2}},
properties=["material_id", "formula", "band_gap", "energy_per_atom"])
print(f"找到 {len(data)} 个材料")
小技巧：申请API密钥时，用学校或公司邮箱，审核速度会快很多。我当初用个人邮箱等了一周，换了edu邮箱后，当天就通过了。
3.1.2 OQMD（Open Quantum Materials Database）
OQMD由西北大学开发，数据量比MP还大，超过80万条。但它有个特点——计算精度不如MP。
为什么会这样？因为OQMD用的是更粗糙的计算参数，追求的是「量」而不是「质」。我在项目中遇到过这样的情况：用OQMD的数据训练模型，预测精度总是上不去。后来换成MP的数据，效果立马好了不少。
所以我的建议是：
- 做高精度预测 → 优先用MP
- 做大规模筛选 → 可以考虑OQMD
- 两者结合 → 用OQMD做初筛，MP做验证
3.1.3 AFLOW
AFLOW由杜克大学维护，特色是提供了丰富的材料描述符。说白了，它不光给你原始数据，还帮你算好了很多特征。
举个例子，你想预测某个材料的弹性模量，AFLOW直接提供了体积模量、剪切模量等计算结果。这省去了你自己算特征的麻烦。
| 数据库 | 数据量 | 计算精度 | API友好度 | 特色功能 |
|---|---|---|---|---|
| Materials Project | ~15万 | 高 | ★★★★★ | 相图、反应路径 |
| OQMD | ~80万 | 中 | ★★★★ | 大规模筛选 |
| AFLOW | ~30万 | 高 | ★★★ | 内置描述符 |
3.2 文献数据挖掘：从论文里「挖」数据
公开数据库虽然好，但总有覆盖不到的地方。比如一些新型材料、特殊掺杂体系，论文里才有数据。
那怎么从论文里挖数据？我总结了三步走：
- 关键词检索：用「材料名 + property + experimental」组合搜索
- 表格提取：用Tabula或Camelot工具提取PDF中的表格
- 数据校验：交叉验证不同论文中的同一数据
避坑指南：我曾经从一篇论文里提取了50组数据，训练模型后发现预测结果完全不对。后来仔细核对，发现论文里的单位是「eV/atom」，我当成「eV」用了。单位问题，一定要再三确认！
这里分享一个我常用的Python脚本，专门用来提取PDF表格：
import tabula
import pandas as pd
# 提取PDF中的所有表格
tables = tabula.read_pdf("paper.pdf", pages="all", multiple_tables=True)
# 保存为CSV
for i, table in enumerate(tables):
table.to_csv(f"table_{i}.csv", index=False)
print(f"提取了第{i+1}个表格，共{len(table)}行数据")
3.3 实验数据采集：自己动手，丰衣足食
说实话，公开数据和文献数据都有个共同问题——质量参差不齐。如果你有条件，自己做实验采集数据，那是最理想的。
实验数据采集要注意什么？
- 标准化流程：每次实验的条件要记录清楚，温度、压力、时间，一个都不能少
- 重复性验证：同一条件至少做3次，取平均值
- 数据格式统一：提前设计好Excel模板，别等数据多了再整理
我见过最惨的案例：一个博士生做了两年实验，数据全记在实验本上。后来想用机器学习分析，发现数据格式乱七八糟，光整理就花了三个月。嗯，这教训够深刻吧？
3.4 知识体系总览
下面这张图，是我自己总结的数据获取全流程。你看一眼，心里就有数了：
我的经验：不管数据从哪个渠道来，最终都要经过清洗。我一般用pandas做数据清洗，先检查缺失值，再处理异常值，最后做标准化。这一步做好了，后面建模就顺了。
好了，关于材料数据获取，核心就这些。记住一句话：数据质量决定模型上限。与其花时间调参，不如先把数据搞扎实。
公众号:蓝海资料掘金营，微信deep3321