数据源评估与选择指南

📚 共计 30 章节

数据源概述

什么是数据源 · 数据工程角色 · 结构化/半结构化/非结构化

数据源评估框架

核心维度：质量·可用性·成本·合规性 · 评估流程概览

框架方法论

数据质量评估（上）

准确性·完整性·一致性 — 定义与检查方法

数据质量评估（下）

时效性·唯一性·有效性 — 定义与检查方法

数据可用性评估

访问方式(API/直连/文件) · 频率限制 · 延迟与SLA

数据成本评估

采购·存储·计算·维护·隐性成本

数据合规性评估

GDPR·个人信息保护法·数据协议·脱敏要求

数据源选择策略

单一 vs 多数据源融合 · 主数据源与补充数据源

数据源调研方法

内部资产盘点 · 外部市场调研 · 供应商访谈

数据源POC（概念验证）

目标设定 · 范围界定 · 评估指标

数据源接入技术选型

ETL工具 · 数据管道 · 实时流 vs 批量处理

数据源接口规范

RESTful API · GraphQL · gRPC · JDBC/ODBC

数据源文档与元数据管理

数据字典 · 数据血缘 · 数据目录工具

元数据文档

数据源安全评估

传输加密 · 存储加密 · 访问控制 · 审计日志

数据源稳定性与可靠性

历史可用率 · 故障恢复 · 冗余机制

数据源扩展性评估

数据量增长应对 · 并发能力 · 分片与分区

扩展性分片

数据源供应商评估

供应商资质 · 技术支持 · 社区活跃度 · 版本更新

供应商生态

开源 vs 商业数据源

优缺点对比 · 典型代表 MySQL vs Oracle

云数据源 vs 本地数据源

部署模式对比 · 延迟与带宽 · 混合架构

数据源测试策略

连通性测试 · 数据抽样验证 · 压力测试

数据源监控与告警

监控指标(延迟/错误率/吞吐量) · 告警阈值

数据源版本管理

Schema变更 · 向后兼容 · 数据迁移策略

数据源生命周期管理

引入·使用·废弃·归档全流程管理

生命周期治理

数据源评估报告撰写

报告结构 · 关键指标 · 决策建议

案例实战（一）电商场景

用户行为数据源评估与选择

案例实战（二）金融场景

交易数据源评估与选择

案例实战（三）IoT场景

传感器数据源评估与选择

数据源评估常见误区

过度关注价格 · 忽视数据质量 · 忽略合规风险

数据源评估工具与平台

Apache Atlas · Collibra · Alation · 自建脚本

课程总结与最佳实践

评估清单 · 决策树 · 持续评估机制

总结最佳实践