01
Tick数据概述
Tick数据的定义、特点与在量化交易中的核心价值。
基础概念
02
存储需求分析
写入吞吐量、查询延迟、存储容量与成本要求。
需求规划
03
主流存储引擎概览
关系型数据库、时序数据库、列式存储对比。
选型对比
04
关系型数据库选型
MySQL vs PostgreSQL，表结构与索引策略。
MySQLPostgreSQL
05
时序数据库选型
InfluxDB vs TDengine，写入性能与压缩比。
InfluxDBTDengine
06
列式存储选型
ClickHouse MergeTree引擎与物化视图。
ClickHouse列式
07
分布式存储方案
Doris、StarRocks 实时写入与查询表现。
DorisStarRocks
08
文件存储方案
Parquet/ORC + HDFS/对象存储归档。
ParquetHDFS
09
内存数据库方案
Redis Streams 与 Arrow Flight 低延迟。
RedisArrow
10
混合存储架构
热数据(内存) → 温数据(SSD) → 冷数据(对象存储)。
分层架构
11
数据模型设计
时间戳、代码、价格、成交量等字段设计。
建模Tick
12
分区策略
按时间(天/小时) vs 按标的，分区键选择。
分区性能
13
排序键与索引
加速时间范围查询，稀疏索引与跳数索引。
索引排序键
14
压缩算法选型
LZ4、ZSTD、Delta编码效果与解压速度。
压缩算法
15
写入性能调优
批量写入、异步写入、连接池与缓冲区。
调优写入
16
查询性能调优
预聚合、物化视图、查询缓存与并行查询。
查询优化
17
数据清理策略
TTL设置、数据归档与删除，避免膨胀。
清理TTL
18
高可用与容灾
主从复制、多副本、跨机房同步。
高可用容灾
19
监控与告警
写入QPS、查询延迟、磁盘IO、内存监控。
监控告警
20
基准测试方法论
JMeter、InfluxDB-stress 等压测工具。
压测JMeter
21
案例实战一：ClickHouse
每秒百万级写入的Tick存储系统。
ClickHouse实战
22
案例实战二：TDengine
实时流式写入与聚合查询。
TDengine流式
23
案例实战三：Redis Streams
毫秒级Tick数据缓存与分发。
Redis缓存
24
案例实战四：Parquet+HDFS
历史Tick数据批量分析与回测。
ParquetHDFS
25
数据一致性保障
Exactly-Once语义在Tick写入中的实现。
一致性Exactly-Once
26
数据质量监控
缺失值检测、异常值过滤与修复。
质量修复
27
成本优化
选型对硬件成本影响，冷热分离与压缩。
成本优化
28
未来趋势
Serverless、云原生、硬件加速(FPGA)。
趋势FPGA
29
选型决策矩阵
性能、成本、易用性、生态评分表。
决策矩阵
30
课程总结与最佳实践
完整方法论与避坑指南。
总结最佳实践