一、异常值检测概述
大家好，我是你们的讲师。今天咱们聊聊金融时间序列里一个绕不开的话题——异常值检测。
说实话，我做了这么多年量化，最怕的不是模型不赚钱，而是数据里藏着"鬼"。你辛辛苦苦搭好的策略，回测曲线漂亮得不行，结果一上实盘就崩——查到最后，往往是某个异常值在作祟。所以，这一章咱们把异常值这件事彻底讲透。
什么是金融时间序列异常值？
简单来说，异常值就是那些"不合群"的数据点。在金融领域，它可能是一笔异常大的交易，也可能是某个瞬间的报价跳变。
举个例子。我曾在处理某只股票的分钟线数据时，发现某分钟成交量突然飙到平时的100倍。嗯，后来查证是交易所数据推送出了bug。这种数据如果不处理，你的均线系统会瞬间被带偏。
从数学角度看，异常值是指显著偏离数据整体分布或时间序列预期模式的观测值。说白了，就是它不该出现在那里。
核心定义：金融时间序列异常值 = 不符合正常市场行为模式的数据点
异常值的三种类型
我个人习惯把异常值分成三类。你想想看，不同类型的异常值，处理方式完全不一样。
1. 点异常
这是最直观的一种。单个数据点明显偏离整体分布。
比如某只股票平时波动在±2%以内，突然某天单日暴跌30%。这就是典型的点异常。我在做风控模型时，遇到过一只债券的收益率突然从3%跳到15%，后来发现是数据录入时小数点打错了。
点异常的特点：
- 孤立出现，不依赖上下文
- 通常由数据错误或极端事件引起
- 检测方法相对成熟（如3σ法则、IQR方法）
2. 上下文异常
这种就有点意思了。一个数据点本身可能看起来正常，但在特定的时间上下文中就显得异常。
举个例子。某股票在正常交易时段内涨了5%，这不算异常。但如果这个涨幅发生在收盘前最后1分钟，那就值得警惕了——可能是操纵收盘价。
我记得有一次，某只股票的成交量在财报发布前5分钟突然放大。单独看成交量数值并不离谱，但结合"财报发布前"这个上下文，明显有问题。这就是上下文异常。
避坑指南：我曾经犯过一个错误——只做全局异常检测，忽略了上下文。结果漏掉了不少"看起来正常但时机不对"的异常点。后来我养成了习惯：先看时间上下文，再做检测。
3. 集合异常
这是最难处理的一种。单个数据点完全正常，但一组数据点组合在一起就异常了。
比如某只股票的价格走势和另一只股票高度相关，突然有一天它们的走势完全背离。单独看每只股票都没问题，但放在一起看，相关性从0.95骤降到-0.3——这就是集合异常。
我在做配对交易策略时，就经常遇到这种情况。两个本该同涨同跌的股票突然分道扬镳，要么是套利机会，要么是数据出了问题。
集合异常的特点：
- 需要多维度分析
- 检测复杂度高
- 往往隐藏着重要的市场信号
异常值检测的重要性
为什么要花这么大精力做异常值检测？说白了，三个原因。
| 原因 | 具体影响 | 我的亲身经历 |
|---|---|---|
| 模型准确性 | 异常值会扭曲统计量（均值、方差等） | 有一次回测夏普比率高达3.5，去掉异常值后只有1.2 |
| 策略稳定性 | 异常值可能导致错误交易信号 | 某策略因异常值触发止损，损失了2%的仓位 |
| 风险控制 | 异常值可能掩盖真实风险 | VaR模型因未处理异常值，低估了尾部风险 |
异常值检测的挑战
说实话，异常值检测看着简单，做起来坑不少。我总结了几点：
第一，金融数据的信噪比极低。 你想想看，股票价格的波动中，真正的信号可能只有5%，剩下95%都是噪声。在这种环境下找异常值，就像在暴风雨中听蚊子叫。
第二，异常值可能是真正的市场信号。 这是最头疼的。一个突然的暴跌，到底是数据错误，还是黑天鹅事件？我曾在2015年股灾期间，花了整整一周时间区分"真正的异常"和"数据错误"。
第三，没有通用的检测方法。 不同市场、不同频率的数据，适用的方法完全不同。日线数据用3σ法则还行，高频数据就得用更复杂的方法了。
重要提醒：千万不要一刀切地删除所有异常值。我见过有人把"异常值"全删了，结果把真正的市场信号也删掉了。记住：异常值 ≠ 错误值。有些异常值恰恰是赚钱的机会。
知识体系总览
下面这张图，是我梳理的本章知识结构。你可以把它当作一个地图，后面每讲一个知识点，都能在这里找到位置。
这张图把本章的核心内容串起来了。从"什么是异常值"出发，到三种类型、检测重要性，再到面临的挑战。后面几章，我们会逐一深入每个环节。
好了，第一章就到这里。记住一句话：数据清洗不是体力活，而是技术活。异常值检测做得好，后面的建模工作能省一半力气。
公众号:蓝海资料掘金营，微信deep3321