1. 金融数据清洗概述

大家好，我是老李。在金融科技领域摸爬滚打了十几年，我最大的感触就是：数据清洗不是脏活累活，而是决定模型生死的头等大事。今天咱们就来聊聊这个看似基础、实则要命的话题。

1.1 数据清洗在金融领域的价值

说白了，金融数据清洗就是给数据「洗澡」。但为什么要洗？我举个例子你就明白了。

2012年我参与过一个量化交易项目。当时团队花了三个月搭建模型，回测效果漂亮得不行。结果一上线，第一天就亏了200万。后来排查发现，是历史数据里混入了几个异常值——某只股票因为除权，价格从100块瞬间跌到50块，但我们的模型把它当成了正常波动。

嗯，这就是数据清洗的价值所在。具体来说，它体现在三个方面：

• 提升模型准确性——垃圾进，垃圾出。清洗过的数据能让模型预测误差降低30%-50%
• 降低合规风险——金融监管越来越严，数据不干净可能面临巨额罚款
• 节省计算资源——清洗掉冗余数据，训练时间能缩短一半以上

1.2 常见数据质量问题

金融数据的问题，翻来覆去就那么几类。但每一类都够你喝一壶的。我按出现频率排个序：

缺失值

这是最常见的。比如某只股票某天停牌，交易量为0；或者财报里某个指标没披露。我在项目中遇到过最夸张的情况——某只债券的收益率数据，缺失率高达40%。

处理方式一般有三种：

• 删除——缺失率低于5%时可以考虑
• 填充——用均值、中位数或前向填充
• 插值——时间序列数据常用线性插值

异常值

金融数据里的异常值，有时候是真实的市场波动，有时候就是数据录入错误。怎么区分？

我曾经处理过一组外汇数据，某天的汇率波动超过了10%。一开始以为是数据错误，后来一查——原来是瑞士央行突然放弃欧元兑瑞郎下限。这就是真实异常，不能删。

重复值

这个在金融数据里特别隐蔽。比如同一笔交易被记录了两次，或者不同数据源对同一只股票的代码不一致。

我建议用哈希值去重，或者根据时间戳+交易ID联合判断。别光看主键，金融数据的主键经常不靠谱。

不一致数据

这个最头疼。比如A股代码在万得是6位，在聚宽是5位；再比如同一家公司的财报，不同数据源的净利润差了10倍。

为什么会这样？因为数据源不同、采集时间不同、计算口径不同。解决方法是建立统一的数据字典，然后做字段映射。

1.3 数据清洗流程概览

好了，问题都摆在这了。那具体怎么干？我总结了一套流程，你照着做就行。

先看这张图，我手绘的清洗流程：

流程看着简单，但每一步都有坑。我展开说说：

1. 数据采集——别信任何数据源。我习惯同时拉3个数据源做交叉验证。
2. 数据探查——用describe()和info()快速扫一遍，重点关注缺失率和极值。
3. 清洗处理——按缺失值→异常值→重复值→不一致数据的顺序处理。
4. 质量验证——写自动化脚本，每次清洗完跑一遍校验规则。

1.4 实战：一个简单的清洗示例

光说不练假把式。我给你看一段我常用的清洗代码：

import pandas as pd
import numpy as np

# 加载数据
df = pd.read_csv('stock_data.csv')

# 1. 缺失值处理
df['volume'].fillna(method='ffill', inplace=True)  # 前向填充

# 2. 异常值检测（3σ原则）
mean = df['close'].mean()
std = df['close'].std()
df = df[(df['close'] > mean - 3*std) & (df['close'] < mean + 3*std)]

# 3. 重复值删除
df.drop_duplicates(subset=['date', 'code'], keep='last', inplace=True)

# 4. 不一致数据修复
df['code'] = df['code'].str.zfill(6)  # 统一补零到6位

这段代码看着简单，但我在实际项目中反复打磨过。比如那个前向填充，金融数据用这个最合适——因为今天的缺失值，用昨天的数据补最合理。

好了，这一章的内容就到这。数据清洗是个手艺活，得多练。下一章咱们会深入讲缺失值的各种处理技巧，到时候我会分享更多实战案例。

---

公众号:蓝海资料掘金营，微信deep3321