高频做市数据存储与检索架构设计
📚 共计 30 章节
01
高频做市数据概述
高频交易数据特点 · Tick级与Order Book · FIX协议/Binary格式
海量
时序
数据源
02
数据存储核心挑战
百万级TPS · PB级成本 · 毫秒延迟 · 强一致性 vs 最终一致性
写入吞吐
存储成本
一致性
03
时序数据库选型
InfluxDB · TimescaleDB · ClickHouse · DolphinDB 对比
写入性能
压缩比
生态
04
列式存储原理
Parquet/ORC · RLE/Delta编码 · 时间/符号分区
列式
压缩
分区策略
05
内存数据库应用
Redis Streams · Aerospike · VoltDB · 内存/磁盘混合架构
实时缓存
混合存储
06
分布式文件系统
HDFS · Ceph · MinIO · 数据本地性原理
历史归档
对象存储
07
消息队列与数据管道
Kafka数据总线 · Topic分区 · 消费者组与回放
Kafka
数据管道
08
实时写入架构
Lambda vs Kappa · Flink流处理 · Spark批处理融合
Lambda
Kappa
Flink
09
数据模型设计
宽表vs窄表 · Tag/Field/Time · Schema on Write/Read
模型
Tag
Schema
10
索引优化策略
时间戳索引 · 倒排索引 · Skip Index · 布隆过滤器
索引
布隆
加速
11
数据压缩技术
有损/无损 · Snappy · Zstd · LZ4 · 压缩比与速度权衡
压缩
Snappy
Zstd
12
数据分片与分区
Range/Hash/List分区 · 分区键最佳实践
分片
分区键
13
数据复制与高可用
Leader-Follower · Quorum · Raft协议
复制
高可用
Raft
14
冷热数据分层
SSD/内存 · HDD · 对象存储/磁带 · 自动迁移
冷热
分层
迁移
15
查询引擎设计
向量化执行 · 谓词下推 · 延迟物化
向量化
下推
16
时间窗口聚合
滑动/滚动/会话窗口 · 预聚合与实时聚合
窗口
聚合
物化视图
17
数据清洗与质量保障
异常检测(Z-score/IQR) · 缺失值 · 数据对齐
清洗
质量
对齐
18
元数据管理
数据字典 · Schema Registry · 数据血缘
元数据
血缘
19
数据安全与权限
列级权限 · 脱敏 · 审计日志 · TLS加密
安全
权限
加密
20
性能基准测试
YCSB/TSBS · P99/P999延迟 · 吞吐量测试
基准
延迟
吞吐
21
监控与告警
Prometheus+Grafana · 磁盘IO/网络/查询延迟
监控
告警
Grafana
22
数据备份与恢复
快照/增量备份 · 异地容灾 · RPO/RTO
备份
容灾
RPO
23
多数据中心部署
异地多活 · 数据同步延迟 · CRDT冲突解决
多活
CRDT
同步
24
数据湖与数据仓库
Delta Lake · Apache Iceberg · Hudi
数据湖
Iceberg
Hudi
25
API设计
RESTful/gRPC · 批量查询 · WebSocket/SSE流式
API
gRPC
WebSocket
26
数据可视化
Grafana Dashboard · K线/深度图 · 实时大屏
可视化
K线
大屏
27
成本优化
对象存储分层 · 预留/Spot实例 · 生命周期管理
成本
Spot
生命周期
28
案例研究
头部做市商架构演进 · MySQL→ClickHouse+Kafka+Flink
案例
迁移
实战
29
未来趋势
Serverless数据库 · 边缘计算 · AI智能索引/缓存
Serverless
边缘
AI
30
课程总结与实战
搭建最小化高频存储系统 · Python+Kafka+ClickHouse+Redis
实战
最小化
全栈