2. 数据源评估框架：评估的核心维度与流程概览
做数据架构这些年，我见过太多团队一上来就急着接数据源。结果呢？数据质量差、接口三天两头断、账单还贵得离谱。说白了，选数据源跟相亲差不多——不能光看外表，得从多个维度好好掂量掂量。
这一节，我就把压箱底的评估框架拿出来。咱们从四个核心维度入手，再走一遍评估流程。你照着做，至少能避开80%的坑。
2.1 评估的核心维度
我个人习惯把评估维度分成四块：质量、可用性、成本、合规性。这四个维度缺一不可。我曾在项目中吃过亏，只盯着质量和成本，结果合规性没查清楚，差点被罚到破产。
2.1.1 数据质量
数据质量是命根子。垃圾数据进来，再牛的算法也白搭。我一般从这几个角度去卡：
- 完整性：字段有没有大量缺失？比如用户画像数据，如果年龄字段80%都是空的，那基本没法用。
- 准确性：数据跟真实情况对得上吗？我记得有一次，某个数据源提供的销售额，跟财务系统对账，差了30%。这种你敢用？
- 一致性：不同时间、不同接口拿到的数据，能不能对上？比如昨天和今天的用户数，突然翻了一倍，那肯定有问题。
- 时效性：数据更新够不够快？实时风控场景，延迟5分钟的数据就是废纸。
我的小技巧：拿到新数据源，先抽1000条样本做质量审计。别嫌麻烦，这一步能省下后面80%的调试时间。
2.1.2 可用性
数据质量再好，拿不到也是白搭。可用性这块，我主要看三点：
- 接口稳定性：API的SLA是多少？99.9%还是99.99%？我曾经对接过一个数据源，号称99.9%可用，结果每个月总有那么两三天抽风。
- 访问速度：响应时间能不能接受？批量查询还好说，实时查询如果超过200ms，用户体验就崩了。
- 数据量限制：有没有调用次数限制？单次能拉多少条？有些数据源看着便宜，但每天只能查1万次，业务量一大就抓瞎。
避坑指南：我曾经对接过一个政府数据源，接口文档写得天花乱坠。结果上线第一天，并发一上来，接口直接超时。后来才发现，他们的服务器扛不住100QPS。所以，一定要做压力测试。
2.1.3 成本
成本不只是钱的问题。我习惯把成本拆成三块：
| 成本类型 | 说明 | 举例 |
|---|---|---|
| 采购成本 | 直接付给数据供应商的钱 | 按条计费、包年套餐 |
| 存储成本 | 数据存到自家服务器上的开销 | 每天1TB数据，OSS存储费 |
| 计算成本 | 清洗、转换、分析消耗的资源 | Spark集群的算力开销 |
你想想看，有些数据源看着便宜，但数据格式乱七八糟，清洗起来要花大量算力。算总账，可能比贵的还坑。
2.1.4 合规性
这块现在越来越重要。GDPR、个人信息保护法，一个比一个严。我建议你至少确认三件事：
- 数据来源是否合法：供应商有没有授权？别买了盗版数据，最后背锅的是你。
- 使用范围是否受限：有些数据只能用于内部分析，不能用于模型训练或对外展示。
- 数据脱敏要求：敏感字段（手机号、身份证）能不能拿？拿了怎么处理？
记住：合规性不是法务部门的事。作为数据架构师，你必须在选型阶段就把合规条款读透。出了问题，第一个被问责的就是你。
2.2 评估流程概览
光有维度还不够，得有流程。我一般走五步：
- 需求梳理：先搞清楚你要什么数据、什么频率、什么质量。别上来就瞎找。
- 初筛：根据需求，从市场上挑3-5个候选数据源。看看官网、读读文档。
- 深度评估：用上面四个维度，逐个打分。我习惯做个评分表，每个维度1-5分。
- POC验证：选得分最高的两个，做小规模验证。拉真实数据跑一跑，看看效果。
- 决策签约：综合POC结果和商务条款，拍板定下来。
下面这张图，把整个流程和核心维度串起来了。你保存下来，以后做评估直接照着来。
嗯，这个框架我用了好几年，迭代了好几个版本。刚开始做评估时，我也踩过不少坑。比如有一次，我跳过了POC验证，直接签了合同。结果数据格式跟文档描述完全不一样，清洗成本翻了三倍。从那以后，我再也不敢省这一步了。
一句话总结：评估数据源，质量、可用性、成本、合规性四个维度一个都不能少。流程上，需求梳理→初筛→深度评估→POC验证→决策签约，一步都别跳。