01
行情数据特征分析
高频数据特点 · 数据量级估算 · 时间序列特性 · 数据质量挑战
特征量级
02
存储介质选型对比
HDD vs SSD vs NVMe · 内存数据库 · 分层存储 · 成本与性能
硬件分层
03
列式存储原理
行存 vs 列存 · Parquet · ORC · 列式压缩优势
列存Parquet
04
通用压缩算法
Gzip · Snappy · LZ4 · Zstandard · 压缩比与速度
压缩算法
05
时序专用压缩
差值编码 · 增量编码 · 游程编码 · 旋转门 · 死区压缩
时序差值
06
浮点数压缩技术
FPC · ZFP · PXOR编码 · 精度与压缩率权衡
浮点ZFP
07
字典编码
静态字典 · 动态字典 · 混合字典 · 行情数据应用
字典编码
08
位图索引
Roaring Bitmap · WAH · CONCISE · 查询加速
位图索引
09
数据分片策略
时间分片 · 标的ID分片 · 混合分片 · 分片大小优化
分片策略
10
分区表设计
时间分区 · 范围分区 · 列表分区 · 分区裁剪优化
分区裁剪
11
数据排序策略
时间排序 · 标的排序 · 复合排序 · 排序对压缩的影响
排序压缩
12
预聚合技术
时间窗口聚合 · OHLC聚合 · 物化视图 · Rollup表
聚合物化
13
数据保留策略
TTL机制 · 冷热分层 · 归档策略 · 删除优化
TTL冷热
14
Delta存储
全量快照 vs 增量更新 · Delta合并 · 版本管理
Delta增量
15
内存缓存层
LRU缓存 · LFU缓存 · 布隆过滤器 · 缓存预热
缓存布隆
16
写入优化
批量写入 · 异步写入 · WAL · LSM-Tree原理
写入LSM
17
读取优化
预读机制 · 索引加速 · 向量化读取 · 谓词下推
读取向量化
18
数据序列化
Protobuf · FlatBuffers · Cap'n Proto · 性能对比
序列化Protobuf
19
零拷贝技术
mmap · sendfile · DMA · 数据传输应用
零拷贝mmap
20
数据去重
精确去重 · 近似去重 · HyperLogLog · 布谷鸟过滤器
去重HLL
21
数据校验
CRC校验 · 校验和 · 纠错码 · 数据完整性
校验CRC
22
分布式存储
HDFS · Ceph · MinIO · 对象存储适配
分布式对象存储
23
时序数据库
InfluxDB · TimescaleDB · ClickHouse · DolphinDB对比
时序库对比
24
压缩配置调优
压缩级别 · 块大小 · 编码器选择 · 实战调参
调优压缩
25
性能基准测试
测试方法论 · 数据集设计 · 指标定义 · 结果分析
基准性能
26
监控与告警
存储容量 · 压缩率 · 查询延迟 · 异常检测
监控告警
27
成本优化
存储成本计算 · 压缩节省估算 · TCO · 优化ROI
成本ROI
28
数据迁移
在线迁移 · 离线迁移 · 增量同步 · 一致性保证
迁移同步
29
灾备方案
多副本 · 异地容灾 · 快照备份 · 恢复演练
灾备容灾
30
实战案例
某券商行情系统优化 · 压缩率提升5倍 · 查询延迟降低90%
实战券商