01
Tick数据概述
什么是Tick数据 · 量化交易核心价值 · 与分钟数据区别
入门概念
02
Tick数据特征分析
高频特性 · A股量级估算 · 时间戳精度与对齐
特征量级
03
存储挑战与瓶颈
IOPS/吞吐量瓶颈 · 存储成本 · 查询延迟痛点
瓶颈成本
04
压缩算法基础
无损vs有损 · gzip/snappy/zstd对比 · 时序专用思路
压缩对比
05
增量编码 (Delta Encoding)
一阶/二阶差分 · Tick价格序列应用
编码差分
06
游程编码 (RLE)
原理 · 盘口深度数据 · 变体优化
RLE盘口
07
字典编码
交易所/股票代码重复字符串 · 混合策略
字典字符串
08
位图编码 (Bitmap)
布尔字段(买卖方向) · Roaring Bitmaps
位图Roaring
09
浮点数压缩
价格浮点特点 · 乘法缩放 · 差分浮点压缩
浮点缩放
10
时间戳压缩
Delta-of-Delta · InfluxDB/ClickHouse应用
时间戳时序
11
列式存储与压缩
行存vs列存 · Parquet/ORC格式压缩
列存Parquet
12
分片与分区策略
时间分区(天/小时) · 股票代码分片 · 冷热分离
分片分区
13
预聚合与降采样
降采样1秒/1分钟 · OHLCV预计算 · 精度权衡
聚合降采样
14
LSM-Tree 存储引擎
LSM原理 · 写入密集Tick · LevelDB/RocksDB
LSMRocksDB
15
内存数据库方案
Redis Streams · Arrow列式内存 · MMAP
内存Redis
16
分布式存储架构
Kafka缓冲 · ClickHouse查询 · DolphinDB
分布式Kafka
17
数据清洗与质量校验
异常值检测 · 时间戳乱序 · 去重策略
清洗质量
18
压缩率与性能平衡
压缩级别 · CPU vs IO · 压测方法论
性能压测
19
查询优化
时间范围加速 · 最新N条 · 聚合下推
查询优化
20
实战案例
A股Level-2 · 期货 · 加密货币Tick存储
实战案例
21
压缩算法选型指南
高频vs回测 · zstd/lz4/brotli对比
选型开源
22
存储格式选型
Parquet/ORC/Arrow/自定义 · 元数据管理
格式元数据
23
数据生命周期管理
TTL策略 · SSD+HDD+对象存储 · 归档清理
生命周期TTL
24
监控与告警
存储/写入/压缩率监控 · 数据完整性校验
监控告警
25
成本优化
对象存储(S3/MinIO) · 压缩后成本模型 · 云原生
成本对象存储
26
多数据源整合
交易所格式统一 · 实时/历史统一 · Schema Registry
整合Schema
27
回放与仿真
Tick回放引擎 · 高效回放 · 事件驱动
回放仿真
28
合规与审计
数据保留合规 · 溯源审计 · 加密存储
合规审计
29
未来趋势
硬件加速(QAT/GPU) · AI辅助压缩 · Serverless
趋势硬件
30
课程总结与最佳实践
全链路架构回顾 · 避坑指南 · 学习资源
总结实践