1. 材料数据概览与问题识别
做材料数据清洗，第一步不是写代码，而是先搞清楚你手里拿到的数据到底长什么样。我见过太多人上来就一顿pandas操作，结果后面发现数据源本身就有问题，白费功夫。今天咱们就聊聊怎么给材料数据做「体检」。
1.1 常见材料数据库长什么样
目前学术界和工业界用得最多的，主要是这几个：
- Materials Project：加州伯克利搞的，数据量最大，结构、性质、相图都有。我个人习惯用它做初始数据源。
- OQMD：西北大学的，侧重热力学稳定性，计算数据很全。
- ICSD：无机晶体结构数据库，实验数据为主，权威性高但更新慢。
- COD：开放晶体学数据库，免费，适合教学和快速验证。
这些数据库的API返回格式不太一样。举个例子，Materials Project返回的是JSON嵌套结构，而OQMD直接给CSV。你想想看，如果没搞清楚格式就写代码，后面解析起来得多痛苦。
核心要点：拿到数据后，先花10分钟看字段说明和样例数据。别急着写代码。
1.2 数据缺失类型——不是所有空值都一样
材料数据里的缺失值，其实分好几种。我在项目中遇到过最坑的一种：某个材料的带隙显示为0，你以为数据完整，其实人家是「未测量」被填成了0。这比直接空着还危险。
常见的缺失类型有：
- 完全随机缺失：比如某个实验条件没记录，跟其他数据没关系。这种直接删掉影响不大。
- 随机缺失：比如高熔点材料的熔点数据容易缺失，因为难测。这种需要小心，直接删会引入偏差。
- 非随机缺失：比如某些有毒材料的毒性数据被刻意隐藏。这种最麻烦，得找领域专家聊。
我的经验：对于材料性质数据，如果缺失率超过30%，我一般会考虑用其他数据库补全，而不是硬填。比如带隙缺失，可以去Materials Project查一下。
1.3 数据异常值识别——别被「异常」骗了
异常值在材料数据里特别常见。为什么？因为材料本身就有极端值。比如金刚石的硬度就是比塑料高几个数量级，这不是异常，是物理规律。
我常用的识别方法：
- 箱线图法：简单粗暴，但容易把真实极端值误判。比如超高温陶瓷的熔点都在3000°C以上，用箱线图一看全是异常。
- Z-score法：适合正态分布的数据。但材料数据很多是偏态的，比如弹性模量分布就不对称。
- 领域知识法：这个最靠谱。比如某个材料的带隙是负的，那肯定是错了。但如果是0.1 eV，可能是窄带隙半导体，别乱删。
避坑指南：我曾经处理过一组热电材料数据，发现ZT值有大于3的，直接当异常删了。后来一查文献，人家确实做出了ZT=3.2的样品。嗯，从那以后我再也不敢只看统计指标了。
1.4 知识体系框架
下面这张图是我自己总结的，把数据概览和问题识别的核心逻辑串起来了。你可以照着这个思路走，基本不会漏掉关键步骤。
1.5 实战小技巧——用代码快速概览
拿到数据后，我一般先跑这几行代码看看情况：
import pandas as pd
import numpy as np
# 读取数据
df = pd.read_csv('materials_data.csv')
# 看看基本统计
print(df.describe())
# 检查缺失值比例
missing_ratio = df.isnull().sum() / len(df) * 100
print(missing_ratio[missing_ratio > 0])
# 快速看分布
df.hist(bins=30, figsize=(12, 8))
这段代码能帮你快速定位问题。比如缺失率超过50%的字段，我一般直接考虑要不要保留。分布严重偏态的，后面做特征工程时得做变换。
小提醒：别只看describe()的均值和中位数。材料数据经常有多个量级混在一起，比如弹性模量从GPa到TPa都有。这时候分组统计更靠谱。
1.6 总结一下
数据概览和问题识别，说白了就是给你的数据做个体检。别跳过这步，也别完全依赖自动化工具。我见过最离谱的一次，有人用自动异常检测把室温超导体的临界温度全删了——那篇论文后来撤稿了，但数据已经污染了。
记住三件事：搞清楚数据来源、区分缺失类型、结合领域知识判断异常。做到这三点，后面清洗和特征工程才能站得住脚。