第二章：数据采集与清洗——多源异构数据接入的实战心法

数据采集与清洗，说白了就是给整个监控系统“喂饭”。饭喂不好，后面的模型再牛也白搭。我在多个跨市场项目中踩过坑，今天就把这些经验掰开揉碎了讲给你听。

2.1 多源异构数据接入：行情、订单、新闻

跨市场交易，数据源五花八门。我习惯把它们分成三大类：

• 行情数据：实时Tick、K线、买卖盘口。来自交易所API或数据商。
• 订单数据：委托、成交、撤单。通常通过CTP、FIX协议接入。
• 新闻舆情：财经快讯、社交媒体情绪。需要爬虫或API订阅。

每种数据的格式、频率、可靠性都不一样。举个例子，行情数据每秒可能上千条，而新闻数据几分钟才一条。你想想看，如果把它们混在一起处理，不出乱子才怪。

2.2 数据标准化处理

数据标准化，是我个人觉得最枯燥但最重要的一步。为什么？因为不同交易所对“价格”的定义都不一样。有的用整数，有的用浮点，有的带小数点后四位。

我曾在项目中遇到过这样一个坑：某交易所的订单价格字段是字符串，里面还带逗号（比如"1,234.56"）。直接转浮点数就报错。后来我加了一层清洗逻辑，才搞定。

标准化处理通常包括：

• 字段映射：统一字段名，比如“price”、“volume”、“timestamp”。
• 类型转换：字符串转数值，时间戳统一为Unix毫秒。
• 缺失值处理：行情数据缺失时，用前值填充或插值。
• 异常值过滤：价格突变、成交量异常等，需要标记或剔除。

2.3 实时流处理架构：Kafka/Flink

实时监控，说白了就是“数据到了就得处理，不能等”。传统的批处理方式根本扛不住。我推荐用Kafka + Flink这套组合拳。

Kafka 负责数据缓冲和分发。它就像一个超级邮箱，数据生产者往里丢，消费者按需取。我习惯按数据源建Topic，比如“topic_tick”、“topic_order”、“topic_news”。

Flink 负责实时计算。它可以从Kafka消费数据，做窗口聚合、模式匹配、异常检测。嗯，这里要注意：Flink的Checkpoint机制一定要配好，否则任务挂了恢复起来很麻烦。

下面是一个简单的Flink消费Kafka并做标准化处理的代码片段：

// Flink 消费 Kafka 示例（Java）
DataStream<String> rawStream = env.addSource(
    new FlinkKafkaConsumer011<>("topic_tick",
        new SimpleStringSchema(),
        properties)
);

DataStream<TickData> standardizedStream = rawStream
    .map(new MapFunction<String, TickData>() {
        @Override
        public TickData map(String value) throws Exception {
            // 解析JSON，做标准化
            JSONObject obj = JSON.parseObject(value);
            TickData tick = new TickData();
            tick.setPrice(obj.getDouble("last_price"));
            tick.setVolume(obj.getLong("volume"));
            tick.setTimestamp(obj.getLong("ts") * 1000);
            return tick;
        }
    })
    .filter(tick -> tick.getPrice() > 0); // 过滤异常值

2.4 整体架构图

为了让你更直观地理解，我画了一张架构图。它展示了从数据源到清洗层的完整链路。

这张图从左到右展示了数据流动的方向。你想想看，如果没有Kafka做缓冲，行情数据直接怼到Flink，一旦Flink重启，数据就丢了。有了Kafka，Flink可以从上次消费的位置继续，这就是“断点续传”的魅力。

2.5 实战中的几个关键点

最后，我总结几个实战中容易忽略的地方：

1. 数据延迟：行情数据有网络延迟，新闻数据有采集延迟。我习惯在标准化时加上“数据到达时间”字段，方便后续做时间对齐。
2. 数据质量监控：写一个独立的监控任务，统计每秒收到的数据量。如果突然下降，大概率是数据源或Kafka出了问题。
3. 容错设计：Flink的Checkpoint要配成Exactly-Once语义。虽然性能会降一点，但数据一致性更重要。