2、金融数据结构化基础：金融文本、表格、时序数据的特点，非结构化数据向结构化转换的挑战
大家好，我是你们的老朋友。今天咱们聊聊金融数据结构化这件事。
说实话，我在金融科技领域摸爬滚打这些年，最头疼的从来不是算法选型，而是数据本身。你想想看，金融行业每天产生的数据，80%以上都是非结构化的。研报、公告、新闻、会议纪要……这些东西机器看不懂，但偏偏藏着最有价值的信息。
所以，这一章我们就把金融数据的“底牌”翻出来看看。
2.1 金融数据的三种“长相”
我个人习惯把金融数据分成三类：文本、表格、时序。这三类数据各有各的脾气，处理起来手法完全不同。
2.1.1 金融文本数据
说白了，就是“人话”写成的数据。比如上市公司的年报、季报、分析师研报、财经新闻、甚至社交媒体上的舆情。
这类数据的特点是：
- 语义丰富：一句话可能包含多层含义。“公司业绩超预期”和“公司业绩符合预期”，就差两个字，市场反应天差地别。
- 格式不统一：有的研报用表格，有的用图表，有的直接写一段话。我见过最离谱的，是把关键财务指标写在图片里——OCR都救不了。
- 噪声大：广告、免责声明、重复信息……这些都得清洗掉。
2.1.2 金融表格数据
表格数据看起来规整，其实坑更多。资产负债表、利润表、现金流量表……这些表格的结构千变万化。
我总结了几点：
- 表头复杂：合并单元格、跨行表头、多级表头，解析起来很麻烦。
- 单位不统一：有的表用“万元”，有的用“亿元”，有的干脆不写单位。
- 数据缺失：有些公司会故意留空某些指标，或者用“—”代替。
| 数据类型 | 常见来源 | 典型问题 |
|---|---|---|
| 资产负债表 | 年报、季报 | 合并单元格、单位不一致 |
| 利润表 | 财报PDF | 表头层级多、数据缺失 |
| 交易流水 | 交易所、券商 | 字段命名不统一 |
2.1.3 金融时序数据
时序数据是金融的“硬通货”。股票价格、交易量、利率、汇率……这些都是按时间顺序排列的。
它的特点很鲜明：
- 高频率：高频交易数据是毫秒级的，一天几千万条。
- 非平稳性：金融时间序列的统计特性会随时间变化。昨天的规律，今天可能就不适用了。
- 事件驱动：一个突发新闻，就能让时序数据出现“尖峰”或“断崖”。
嗯，这里要注意：时序数据最怕的就是“数据对齐”。不同数据源的采样频率不一样，有的按秒，有的按分钟，有的按天。对齐不好，模型就学歪了。
2.2 非结构化数据向结构化转换的挑战
这部分是重点。把非结构化数据变成结构化数据，听起来简单，做起来全是坑。
2.2.1 文本解析的“最后一公里”
我曾经做过一个项目，要从PDF年报里提取“研发投入”这个指标。PDF解析出来，发现“研发投入”这四个字在文档里出现了十几次——有的是表头，有的是正文，有的是注释。到底哪个才是我们要的？
这就是典型的“语义歧义”问题。机器分不清“研发投入”是标题还是数据。
2.2.2 表格结构的“千变万化”
表格解析是我踩坑最多的地方。你以为表格就是行和列？太天真了。
- 合并单元格：一个单元格跨两行，解析出来数据就错位了。
- 旋转表头：有些表格的表头是竖着写的，OCR识别出来全是乱码。
- 嵌套表格：表格里面套表格，解析逻辑直接崩溃。
我建议，处理表格数据时，先做“表格结构识别”，把表头、数据区、注释区分开，再逐行解析。别想着一个正则表达式搞定所有。
2.2.3 时序数据的“脏数据”问题
时序数据看起来干净，其实脏得很。停牌、除权除息、数据缺失……这些都是家常便饭。
举个例子：某只股票停牌一个月，复牌后直接跌停。如果你不做“停牌处理”，模型会以为这是正常波动，结果预测全错。
2.3 知识体系：金融数据结构化全景图
说了这么多，咱们用一张图把整个知识体系串起来。这张图是我自己总结的，每次做项目都会拿出来对照一下。
这张图其实就讲了三件事：数据从哪来、有什么坑、怎么填坑。每次做项目，我都会先问自己：数据源是什么类型？会遇到哪些挑战？解决方案是什么？
2.4 实战建议：从“能跑”到“能用”
最后，给各位一些实战建议。这些建议都是我拿真金白银换来的教训。
- 先做数据探查：别急着写代码。先拿100条数据看看长什么样，有哪些异常值。
- 规则优先，模型兜底：能用正则解决的，就别上模型。模型有不确定性，金融领域最怕的就是“不确定”。
- 做好数据版本管理：金融数据经常更新。今天的数据和昨天的可能不一样。我习惯给每条数据打上时间戳和版本号。
- 保留原始数据：处理过程中，永远保留一份原始数据。万一处理逻辑错了，还能回滚。
好了，这一章就到这里。金融数据结构化是个“脏活累活”，但也是所有金融科技应用的基石。把这一步做好了，后面的建模、分析、决策才能站得住脚。