01
Tick数据概述
Tick数据定义 · 重要性 · 与分钟/日线区别
基础概念
02
数据源与采集
主流提供商对比 · 采集架构 · 实时/历史回放
数据源架构
03
数据格式标准化
CSV · Parquet · HDF5 · 字段定义 · 元数据
格式规范
04
存储引擎选型
PostgreSQL · InfluxDB · ClickHouse · S3/MinIO
数据库选型
05
分区策略设计
时间分区 · 符号分区 · 混合策略 · 性能测试
分区优化
06
索引优化
时间戳索引 · 复合索引 · 倒排索引 · 维护策略
索引性能
07
压缩与编码
有损/无损 · Delta编码 · 字典编码 · ZSTD/LZ4
压缩编码
08
写入性能调优
批量写入 · 异步 · 缓冲区 · WAL机制
写入调优
09
查询性能调优
时间范围 · 聚合优化 · 预聚合 · 物化视图
查询优化
10
内存缓存层
Redis缓存 · LRU缓存 · 失效策略 · 热点识别
缓存Redis
11
数据清洗与校验
异常值检测 · 时间同步 · 缺失值处理
清洗质量
12
回测数据加载
全量/流式加载 · mmap · 零拷贝技术
加载性能
13
并行处理框架
Dask · Ray · 多进程/线程 · 任务调度
并行分布式
14
数据版本管理
快照 · 增量更新 · 版本回滚 · 数据血缘
版本管理
15
数据安全与权限
AES-256加密 · RBAC · 审计日志
安全权限
16
容灾与备份
多副本 · 异地备份 · 恢复演练 · RPO/RTO
容灾备份
17
监控与告警
延迟监控 · 磁盘告警 · 数据质量监控
监控告警
18
数据生命周期管理
冷热分层 · 归档策略 · 自动清理
生命周期分层
19
API设计
RESTful vs gRPC · 查询/导出 · WebSocket推送
API接口
20
元数据管理
数据字典 · Schema Registry · 数据发现
元数据治理
21
测试与基准测试
单元/集成测试 · 性能基准 · 测试数据生成
测试基准
22
实战案例1: ClickHouse
表结构设计 · 查询优化实战
ClickHouse实战
23
实战案例2: InfluxDB
连续查询 · 保留策略
InfluxDB时序
24
实战案例3: Parquet+S3
数据湖方案 · 分区压缩 · Presto/Trino
数据湖S3
25
实战案例4: Redis+PG
混合存储 · 热缓存 · 冷持久化
RedisPostgreSQL
26
实战案例5: Kafka+Flink
实时管道 · 数据清洗与写入
KafkaFlink
27
性能对比分析
写入/查询/成本对比 · 选型建议
对比选型
28
成本优化
存储计算 · 压缩率 · 云服务 vs 自建
成本优化
29
未来趋势
Serverless · 存算分离 · AI辅助 · 标准演进
趋势前沿
30
课程总结与最佳实践
架构原则 · 常见陷阱 · 推荐技术栈
总结实践