数据治理基础：数据治理的定义、数据治理的五大核心域
做市商这个行当，说白了就是跟数据打交道。你想想看，每天几百万笔订单，上千个交易对，价格波动以毫秒计——没有一套靠谱的数据治理体系，你连自己赚了赔了都算不清楚。
我刚开始做量化的时候，吃过不少亏。有一次策略回测跑得漂漂亮亮，实盘一上线直接亏了三个点。查了两天才发现，原来是历史数据里混进了几笔「幽灵订单」——交易所测试环境的数据没清理干净。嗯，从那以后我就明白了，数据治理不是IT部门的活，是咱们做市商的命根子。
一、数据治理到底是个啥？
官方定义我就不念了，说人话：数据治理就是管好数据的「生老病死」。从数据怎么来、存哪里、谁能用、怎么用，到数据什么时候该删，都得有规矩。
我个人习惯把数据治理比作厨房管理：
- 食材（数据）得新鲜——数据质量
- 调料（元数据）得标清楚——元数据管理
- 主菜（主数据）得统一——主数据管理
- 厨房（数据安全）得上锁——数据安全
- 剩菜（数据生命周期）得及时倒掉——数据生命周期
你看，是不是一下就明白了？
核心观点：数据治理不是一次性工程，而是持续运营的过程。做市商的数据治理尤其特殊——数据量巨大、时效性要求极高、错误容忍度极低。
二、五大核心域详解
这五个域，我一个个拆开讲。每个域我都会结合自己做市商实战的经验来说。
1. 元数据管理——数据的「说明书」
元数据是什么？就是「关于数据的数据」。比如一个订单字段，它叫什么名字、什么类型、取值范围是多少、来自哪个系统——这些信息就是元数据。
我在项目中遇到过最典型的元数据问题：同一个「成交价」，A系统叫trade_price，B系统叫exec_price，C系统叫fill_price。三个字段存的是同一个东西，但名字不一样。你写SQL做数据聚合的时候，一不小心就漏掉一个。
避坑指南：我曾经因为元数据不一致，导致做市商策略的盈亏计算差了0.3%。别小看这0.3%，在千万级别的资金量下，这就是几十万的误差。后来我强制要求所有系统必须使用统一的元数据字典，字段命名、类型、精度全部标准化。
元数据管理要做的事：
- 建立数据字典——每个字段的「身份证」
- 维护数据血缘——数据从哪来、经过哪些转换、最终去哪
- 版本管理——字段变更了，历史数据怎么处理
2. 数据质量管理——数据的「体检报告」
做市商最怕什么？数据不准。你想想看，如果行情数据延迟了10毫秒，你的报价可能就比别人慢了一拍，直接被吃掉。
数据质量有六个维度，我列个表：
| 维度 | 说明 | 做市商场景举例 |
|---|---|---|
| 完整性 | 数据有没有缺失 | 某只股票5分钟K线缺了一根 |
| 准确性 | 数据是否真实反映现实 | 成交价和交易所实际成交价不一致 |
| 一致性 | 不同系统间数据是否矛盾 | 风控系统和交易系统的持仓数对不上 |
| 及时性 | 数据是否在预期时间内到达 | 行情数据延迟超过50ms |
| 唯一性 | 数据是否有重复 | 同一笔订单被记录了两次 |
| 有效性 | 数据是否符合业务规则 | 卖价高于买价（正常情况应该反过来） |
我个人习惯每天跑一次数据质量检查脚本。一旦发现异常，立刻告警。别等到策略亏钱了才回头查数据。
注意：数据质量检查不能只靠人工。我曾经见过一个团队，每周手动检查一次数据质量。结果周三的数据出了问题，周五才发现，两天时间策略跑偏了，亏了六位数。自动化检查是底线。
3. 主数据管理——数据的「核心资产」
主数据是什么？就是业务中最核心、最基础的数据实体。对做市商来说，主数据包括：
- 交易品种信息：股票代码、合约代码、交易所代码
- 账户信息：交易账户、资金账户、持仓账户
- 对手方信息：做市商对手方、交易所、清算所
- 产品参数：最小变动价位、合约乘数、交易时间
主数据管理的核心就是「一个数据一个源」。同一个交易品种，不管在哪个系统里，它的代码、名称、属性必须完全一致。
我举个例子：某做市商同时交易沪深300股指期货和沪深300ETF期权。这两个产品都跟沪深300指数挂钩，但它们的合约代码、交易规则完全不同。如果主数据管理没做好，很容易把期货的代码当成期权的代码去查询，结果查出来的数据全是错的。
我的做法：建立统一的主数据平台，所有系统通过API获取主数据。任何修改都走审批流程，修改后自动同步到所有下游系统。这样能保证「一处修改，处处生效」。
4. 数据安全管理——数据的「防盗门」
做市商的数据有多敏感？你的策略参数、持仓信息、交易记录——随便泄露一样，都可能导致策略被复制、被狙击。
数据安全分三个层面：
- 访问控制：谁可以看什么数据
- 传输加密：数据在网络上传输时不能被窃听
- 存储加密：数据在硬盘上不能被直接读取
我曾经见过一个团队，把策略回测数据放在共享文件夹里，全公司都能看。结果新来的实习生不小心把文件发到了外部群。虽然没造成实质损失，但这个教训够深刻的。
底线要求：做市商的数据安全必须做到：
- 所有敏感数据加密存储（AES-256起步）
- 所有数据传输走TLS 1.3
- 数据访问权限按最小化原则分配
- 操作日志完整记录，不可篡改
5. 数据生命周期管理——数据的「生老病死」
数据不是存得越久越好。你想想看，10年前的行情数据，对今天的做市策略还有用吗？大概率没有。但占用的存储空间、维护成本却是实实在在的。
数据生命周期一般分几个阶段：
- 创建期：数据产生，进入系统
- 活跃期：数据被频繁使用
- 冷数据期：数据很少被访问，但需要保留
- 归档期：数据迁移到低成本存储
- 销毁期：数据按规则删除
我做市商的数据生命周期策略是这样的：
| 数据类型 | 活跃期 | 冷数据期 | 归档期 | 销毁期 |
|---|---|---|---|---|
| 实时行情 | 7天 | 30天 | 1年 | 3年 |
| 订单数据 | 30天 | 90天 | 2年 | 5年 |
| 成交数据 | 90天 | 1年 | 3年 | 7年 |
| 策略参数 | 永久 | 永久 | 永久 | 不销毁 |
经验之谈：别把所有数据都往热存储里塞。热存储贵，冷存储便宜。把不常用的数据迁移到冷存储，能省下不少成本。我见过一家做市商，一年光存储费用就省了40%，就是靠合理的数据生命周期管理。
三、五大核心域的关系
这五个域不是孤立的，它们互相影响。我画个图你就明白了：
你看这个图，五个域围绕数据治理这个核心。元数据是基础——没有元数据，你连数据是什么都不知道。数据质量是保障——数据不准，一切白搭。主数据是核心——业务运转全靠它。数据安全是底线——数据泄露，公司可能直接倒闭。数据生命周期是效率——合理管理存储，省钱又省力。
四、做市商数据治理的落地建议
说了这么多理论，最后给点实在的建议：
- 从小处着手：别想着一步到位。先管好元数据和数据质量，这两个是基础中的基础。
- 自动化优先：能自动化的就别手动。数据质量检查、元数据采集、数据备份——全部自动化。
- 监控告警：数据治理不是做完就完了。要持续监控，出了问题立刻告警。
- 文档化：所有规则、流程、配置都要写下来。别指望靠人脑记，人脑会忘。
最后说一句：数据治理不是成本，是投资。你花在数据治理上的每一分钱，都会在策略稳定性、风险控制、运营效率上得到回报。我做市商这么多年，见过太多因为数据问题翻车的案例。数据治理做好了，你的策略才能跑得稳、跑得久。