金融数据源分析：常见数据源与异构性评估
做金融实体对齐，第一步不是写代码，而是搞清楚你手里拿的是什么数据。
我见过不少团队，一上来就搞模型、搞算法，结果数据质量一塌糊涂，对齐出来的实体全是错的。说白了，数据源分析是地基，地基不稳，上面盖什么都是危楼。
今天我们就来聊聊，常见的金融数据源有哪些，它们之间到底有多「异构」，以及怎么评估数据能不能用。
一、常见金融数据源：四大金刚
我个人习惯把金融数据源分成四类：财报、公告、新闻、交易数据。这四类数据，几乎覆盖了90%的实体对齐场景。
| 数据源类型 | 典型内容 | 更新频率 | 结构化程度 |
|---|---|---|---|
| 财报数据 | 资产负债表、利润表、现金流量表 | 季度/年度 | 高（表格为主） |
| 公告数据 | 重大事项、股权变动、关联交易 | 不定期 | 中（半结构化） |
| 新闻数据 | 公司新闻、行业动态、舆情 | 实时/每日 | 低（纯文本） |
| 交易数据 | 股票行情、成交量、资金流向 | 实时/每日 | 高（时间序列） |
嗯，这里要注意一点：财报和交易数据虽然结构化程度高，但实体名称的写法往往不一致。比如「中国平安保险（集团）股份有限公司」和「中国平安」，在财报里可能同时出现，但实体对齐时你得知道它们是同一个东西。
二、数据异构性分析：为什么对齐这么难？
你想想看，不同数据源对同一个公司的称呼，能有多大的差异？
我在项目中遇到过最夸张的例子：某家上市公司，在财报里叫「XX科技股份有限公司」，在新闻里叫「XX科技」，在交易数据里叫「600XXX（股票代码）」，在公告里又变成了「XX科技（集团）有限公司」。四个数据源，四个名字，但指的都是同一家公司。
这就是数据异构性。具体来说，体现在三个方面：
- 命名异构：全称、简称、股票代码、曾用名、英文名混用
- 结构异构：有的数据是表格，有的是JSON，有的是纯文本
- 语义异构：同一个字段在不同数据源里含义不同，比如「营业收入」有的含税，有的不含税
核心观点：数据异构性不是bug，是feature。你没法消除它，只能学会跟它共存。
我曾经接手过一个项目，要把A股所有上市公司的财报数据和新闻数据做实体对齐。一开始我以为很简单，结果发现同一家公司在财报里叫「贵州茅台酒股份有限公司」，在新闻里叫「贵州茅台」，在股吧里叫「茅台」。这三个名字，如果不用实体对齐技术，机器根本不知道它们是同一个实体。
三、数据质量评估：别被「脏数据」坑了
数据质量评估，说白了就是看看你的数据能不能用。我一般从四个维度来评估：
- 完整性：字段有没有缺失？比如财报里「净利润」字段，有些公司可能没填
- 准确性：数据对不对？比如交易数据里的价格，有没有异常值？
- 一致性：同一实体在不同数据源里，信息是否矛盾？
- 时效性：数据是不是最新的？比如公告数据，延迟一天可能就错过了关键信息
我的经验：做数据质量评估时，别只看整体指标。要按数据源、按字段、按时间窗口分别评估。比如新闻数据，可能整体准确率95%，但涉及敏感事件的新闻，准确率可能只有60%。
举个例子。我之前做过一个项目，需要把某家公司的财报数据和新闻数据做对齐。结果发现，财报里显示该公司净利润同比增长20%，但新闻里却说「业绩暴雷」。为什么？因为新闻里用的是「扣非净利润」，而财报里用的是「归母净利润」。两个口径不同，数据就打架了。
这就是数据质量评估要解决的问题——你得知道每个数据源的数据是怎么来的，口径是什么，有没有坑。
四、知识体系总览
下面这张图，是我自己总结的金融数据源分析框架。你可以把它当成一个检查清单，每次做实体对齐前，先过一遍。
避坑指南：我曾经因为没做数据质量评估，直接拿新闻数据做实体对齐，结果发现新闻里提到的「某公司」有30%都是简称或者错别字。比如「阿里巴巴」写成「阿里爸爸」，「腾讯」写成「疼讯」。这些脏数据，如果不提前清洗，对齐结果根本没法用。
所以，我的建议是：在开始实体对齐之前，先花20%的时间做数据源分析和质量评估。这20%的时间，能帮你省掉后面80%的麻烦。
说白了，金融数据源分析这件事，就是让你知道你的数据「从哪里来、长什么样、能不能用」。搞清楚了这三点，后面的实体对齐工作才能有的放矢。