01
订单簿快照概述
什么是订单簿快照、为什么需要快照、快照与增量更新的区别、典型应用场景
行情展示策略回测风控系统
02
数据结构基础
订单簿核心组成、Level 1/2/3区别、时间戳与序列号设计
买盘/卖盘订单层级
03
文件格式选型
文本 vs 二进制、压缩策略、序列化性能对比
CSV/JSONProtobufFlatBuffers
04
CSV格式设计
列定义、文件命名规则、分片策略、示例解析
按日期按小时
05
JSON格式设计
嵌套结构、字段命名、可选字段、大文件分页读取
元数据买卖盘数组
06
Protobuf格式设计
proto定义、repeated优化、向后兼容、编译代码
OrderBookSnapshot
07
FlatBuffers格式设计
Schema定义、零拷贝读取、与Protobuf对比
零拷贝高性能
08
元数据设计
交易所标识、交易对、快照时间、版本号、CRC32/MD5
完整性校验
09
时间戳设计
Unix毫秒/纳秒、时区处理、对齐策略、跨交易所同步
精度同步
10
价格精度处理
浮点数问题、定点数Decimal、字符串存储、精度丢失案例
BigDecimal
11
数量与金额字段
数量精度、累计成交量、成交金额、加权均价、BigInteger
大数处理
12
订单层级设计
固定 vs 动态层级、深度限制、空层级、合并策略
层级深度
13
增量更新与快照结合
增量消息格式、快照频率、增量回放机制
新增/修改/删除
14
文件命名与目录结构
交易所/日期/交易对分层、命名规范、自动清理策略
时间戳序列号
15
数据压缩与存储
列式压缩(Parquet/ORC)、行式压缩(Gzip/Bzip2)、冷热分层
压缩比解压速度
16
内存映射文件
mmap原理、大文件高效读取、内存控制、与普通IO对比
mmap
17
数据校验与修复
Checksum计算、完整性验证、损坏修复、异常标记
CRC32
18
多交易所统一格式
数据结构差异、统一抽象层、字段映射、适配器模式
适配器
19
历史数据回放
快照读取引擎、时间轴对齐、事件驱动、速度控制
回放实时/加速
20
实时数据写入
高并发优化、批量写入、写缓冲与刷盘、基准测试
写入性能
21
数据版本管理
版本号递增、兼容性检查、迁移工具、回滚方案
版本兼容
22
分布式存储方案
HDFS/S3/MinIO、分区表、复制策略、故障恢复
对象存储
23
查询优化
按时间/价格/交易对查询、索引设计(时间/价格索引)
索引
24
数据清洗与预处理
异常价格过滤、重复去重、缺失插值、标准化
数据质量
25
性能基准测试
读写吞吐、延迟、内存占用、不同格式对比报告
benchmark
26
安全与权限
AES-256加密、RBAC访问控制、审计日志、脱敏
加密权限
27
监控与告警
生成延迟、完整性告警、存储空间、写入失败告警
告警
28
工具链设计
快照查看器、格式转换(CSV转Protobuf)、校验、性能分析
工具
29
最佳实践与案例
交易所快照系统、回测数据流水线、风控实时快照
架构
30
未来趋势
Serverless数据管道、Kafka/Flink流式处理、AI压缩、标准化组织
流式AI