第三章：探索性数据分析（EDA）——先别急着建模，看看数据在说什么
说实话，我见过太多人一上来就调包、跑模型，结果折腾半天效果奇差。为什么？因为他们跳过了最关键的一步——探索性数据分析。EDA不是走形式，是你跟数据的一次深度对话。我个人习惯，拿到任何数据集，至少花40%的时间做EDA。磨刀不误砍柴工，这话一点不假。
3.1 描述性统计：先摸清数据的“脾气”
描述性统计，说白了就是给数据做个体检。你得知道它多大、多散、有没有异常值。我一般从这几个维度入手：
- 集中趋势：均值、中位数、众数。均值容易被极端值带偏，中位数更稳健。
- 离散程度：标准差、方差、四分位距。数据是扎堆还是散落？
- 分布形态：偏度、峰度。数据是左偏还是右偏？尖峰还是平顶？
举个例子，我在做股票收益率预测时，发现收益率的均值接近0，但标准差很大。这说明什么？市场大部分时间在震荡，但偶尔会有剧烈波动。嗯，这里要注意，千万别只看均值就下结论。
3.2 可视化分析：一张好图胜过千行代码
我个人最看重可视化。数据不会说话，但图表会。我习惯把可视化分成三类：趋势、分布、相关性。咱们一个一个说。
3.2.1 趋势分析：时间序列的“心电图”
做市场预测，时间序列是家常便饭。我一般用折线图看长期趋势，用移动平均线平滑噪声。你想想看，如果直接看原始数据，满屏的毛刺根本看不出规律。
import matplotlib.pyplot as plt
import pandas as pd
# 假设df是包含日期和价格的数据框
df['date'] = pd.to_datetime(df['date'])
df.set_index('date', inplace=True)
# 绘制原始序列和移动平均线
plt.figure(figsize=(12, 6))
plt.plot(df['price'], label='原始价格', alpha=0.5)
plt.plot(df['price'].rolling(window=20).mean(), label='20日移动平均', linewidth=2)
plt.title('价格趋势与移动平均线')
plt.legend()
plt.show()我曾经犯过一个错：直接用原始数据建模，结果模型完全被短期波动带偏。后来加了移动平均线做特征，效果立竿见影。
3.2.2 分布分析：数据长什么样？
直方图和箱线图是我的左膀右臂。直方图看整体分布形态，箱线图抓异常值。我记得有一次做客户消费预测，直方图显示消费金额呈长尾分布，箱线图直接标出了几个超出上限3倍的点。后来一查，是数据录入错误。
3.2.3 相关性分析：谁跟谁有关系？
热力图是我的首选。一眼扫过去，颜色深的格子就是潜在的好特征。但注意，相关性不等于因果。我见过有人把冰淇淋销量和溺水率强相关当成因果，闹了笑话。
import seaborn as sns
# 计算相关系数矩阵
corr_matrix = df.corr()
# 绘制热力图
plt.figure(figsize=(10, 8))
sns.heatmap(corr_matrix, annot=True, cmap='coolwarm', center=0)
plt.title('特征相关性热力图')
plt.show()3.3 数据洞察提取：从“看到”到“看懂”
可视化只是手段，洞察才是目的。我一般会问自己三个问题：
- 数据中有没有明显的模式？比如周期性、季节性、趋势拐点。
- 有没有异常点或离群值？它们可能是噪声，也可能是宝贵信号。
- 特征之间有没有非线性关系？线性相关系数低，不代表没关系。
举个例子，我在分析某电商销售数据时，发现周末的销售额明显高于工作日。这个洞察直接指导我做了“周末效应”的特征工程，模型AUC提升了3个百分点。你看，EDA的价值就在这里。
3.4 EDA知识体系框架
下面这张图是我自己总结的EDA核心逻辑，你照着这个思路走，基本不会漏掉关键步骤。
这张图把EDA拆成了四个递进阶段。你从数据概览开始，一步步走到洞察提取。我个人习惯在每个阶段都做记录，哪怕是一个不起眼的发现，也可能成为建模的关键线索。
好了，这一章的内容就到这里。记住，EDA做扎实了，后面的建模就是水到渠成的事。