3. 数据预处理错误：数据格式不正确、缺失值处理不当、数据标准化/归一化错误、数据维度不匹配

数据预处理，说白了就是给AI模型「喂饭」前的洗菜切菜环节。我见过太多项目，模型选得再好，参数调得再勤，最后栽在数据预处理上。嗯，这活儿看着不起眼，但坑是真不少。

3.1 数据格式不正确

这个问题我刚开始做项目时经常遇到。你想想看，从不同来源收集的数据，格式五花八门——CSV里混着JSON，Excel里藏着合并单元格，时间戳有的用字符串有的用整数。

我个人习惯，拿到数据第一件事就是统一格式。别急着跑模型，先看看数据长什么样。

# 常见的数据格式问题及处理
import pandas as pd
import numpy as np

# 问题1：日期格式不统一
df['date'] = pd.to_datetime(df['date'], errors='coerce')

# 问题2：数值列混入字符串
df['price'] = pd.to_numeric(df['price'], errors='coerce')

# 问题3：分类变量编码不一致
df['gender'] = df['gender'].map({'男': 0, '女': 1, 'M': 0, 'F': 1})

我在项目中遇到过最离谱的一次，是某个传感器数据里混入了中文标点符号。模型训练了三天，准确率死活上不去。后来发现是数据采集程序里有个bug，把逗号写成了中文全角逗号。就这一个字符，坑了我三天。

3.2 缺失值处理不当

缺失值处理，说白了就是「补」还是「删」的选择题。但很多人上来就填均值，或者直接删行，这其实挺危险的。

缺失比例	推荐处理方式	注意事项
< 5%	直接删除	确保删除后样本量仍足够
5% - 20%	均值/中位数填充	注意数据分布，偏态数据用中位数
20% - 50%	模型预测填充	用KNN或回归模型预测缺失值
> 50%	删除该特征	保留反而引入噪声

我曾经犯过一个低级错误：用全局均值填充缺失值，结果把时间序列数据搞出了「阶梯状」突变。模型学到的全是填充模式，而不是真实规律。后来我改用前向填充（ffill），效果好了很多。

# 不同场景的缺失值处理
# 时间序列数据：前向填充
df['sensor_value'].fillna(method='ffill', inplace=True)

# 分类数据：用众数填充
df['category'].fillna(df['category'].mode()[0], inplace=True)

# 数值数据：用中位数填充（抗异常值）
df['income'].fillna(df['income'].median(), inplace=True)

3.3 数据标准化/归一化错误

标准化和归一化，这两个概念经常被混用。我简单说下区别：

• 归一化（Min-Max Scaling）：把数据缩放到[0,1]区间。适合数据分布比较均匀的情况。
• 标准化（Z-score）：把数据变成均值为0、标准差为1。适合数据有异常值的情况。

你想想看，如果数据里有几个极端值，用归一化会把大部分数据压缩到很小的区间，模型基本学不到东西。这时候就该用标准化。

from sklearn.preprocessing import MinMaxScaler, StandardScaler

# 归一化（适合边界明确的数据）
scaler_minmax = MinMaxScaler()
X_train_scaled = scaler_minmax.fit_transform(X_train)
X_test_scaled = scaler_minmax.transform(X_test)  # 注意：用训练集的参数

# 标准化（适合有异常值的数据）
scaler_std = StandardScaler()
X_train_scaled = scaler_std.fit_transform(X_train)
X_test_scaled = scaler_std.transform(X_test)

我记得有一次做图像分类，忘了对像素值做归一化。模型训练了100个epoch，loss一直在0.7左右下不去。后来发现像素值范围是0-255，归一化到0-1后，loss直接降到0.1。就这一行代码的事。

3.4 数据维度不匹配

数据维度不匹配，说白了就是「形状对不上」。这个问题在深度学习里特别常见，尤其是用CNN处理图像数据时。

我总结了几种常见的维度问题：

• 样本数不匹配：特征矩阵的行数和标签向量的长度不一致
• 特征数不匹配：训练集和测试集的特征数量不同
• 通道数不匹配：图像数据的通道顺序搞错（RGB vs BGR）
• 批次维度缺失：单样本输入时忘了加batch维度

# 检查数据维度
print(f"特征矩阵形状: {X.shape}")
print(f"标签向量形状: {y.shape}")

# 添加批次维度（深度学习常用）
X = np.expand_dims(X, axis=0)  # 从 (64,64,3) 变成 (1,64,64,3)

# 调整通道顺序（PyTorch vs TensorFlow）
# PyTorch: (batch, channels, height, width)
# TensorFlow: (batch, height, width, channels)
X = np.transpose(X, (0, 3, 1, 2))  # 转换通道顺序

# 维度检查的防御性编程
assert X.shape[0] == y.shape[0], f"样本数不匹配: {X.shape[0]} vs {y.shape[0]}"
assert X.shape[1] == n_features, f"特征数不匹配: 期望{n_features}, 实际{X.shape[1]}"

知识体系总览

数据预处理这块，说白了就是「慢工出细活」。我见过太多人急着跑模型，结果花在调试上的时间比训练还多。我的建议是：建立一套标准的数据预处理流程，每次都用同样的步骤，用assert做防御性检查。这样虽然前期慢一点，但后期基本不会出幺蛾子。