01
行情数据全景概览
什么是行情数据、Level-1/Level-2、Tick/分钟线,量化交易核心地位
概览基础
02
关系型数据库选型
MySQL vs PostgreSQL vs TimescaleDB,时序特性对比,最终选择
选型对比
03
NoSQL与NewSQL方案
InfluxDB、ClickHouse、DolphinDB架构对比与性能瓶颈
NoSQLNewSQL
04
数据模型设计基础
实体关系、时间戳与标的ID复合主键设计
建模主键
05
超表(Hypertable)概念
TimescaleDB核心机制,自动分区与生命周期管理,千万级写入
超表分区
06
分区策略详解
按时间 vs 按标的ID,分区间隔选择,分区裁剪影响
策略性能
07
索引优化实战
时间戳、标的ID、复合索引,B-tree与BRIN选择
索引BRIN
08
压缩与数据保留策略
TimescaleDB原生压缩、列式压缩比、自动删除过期数据
压缩保留
09
连续聚合(Continuous Aggregates)
实时计算分钟线、小时线,避免重复计算,实盘经验
聚合实时
10
数据写入优化
批量插入、连接池、WAL调优,每秒10万+写入
写入调优
11
查询性能调优
慢查询分析、索引命中率、并行查询,头疼案例
查询EXPLAIN
12
内存与缓存配置
shared_buffers、work_mem、effective_cache_size,避免OOM
内存缓存
13
磁盘I/O优化
SSD vs HDD、RAID级别、文件系统XFS/Ext4影响
磁盘IO
14
网络与并发控制
最大连接数、PgBouncer、读写分离,高并发行情订阅
并发连接池
15
数据一致性保障
主从复制、同步/异步、故障切换,数据丢失教训
一致性复制
16
备份与恢复
pg_dump/pg_restore、WAL归档、增量备份,RTO控制
备份恢复
17
监控与告警体系
Prometheus+Grafana,关键告警规则(连接数、慢查询、磁盘)
监控告警
18
数据清洗与质量校验
异常值检测、插值补全、重复数据去重策略
清洗质量
19
实时流处理集成
Kafka+Debezium实时同步,CDC架构设计
流处理CDC
20
数据仓库分层设计
ODS、DWD、DWS分层,查询效率提升
数仓分层
21
API接口设计
RESTful vs gRPC,限流、缓存、分页策略
API限流
22
缓存层设计
Redis缓存热点数据,穿透/击穿/雪崩应对
缓存Redis
23
数据湖与对象存储
MinIO/S3归档,Parquet格式,降低存储成本
数据湖对象存储
24
分布式数据库扩展
Citus分片键选择,跨节点查询优化
分布式Citus
25
云原生部署方案
Kubernetes部署TimescaleDB,StatefulSet、PVC、自动扩缩容
云原生K8s
26
性能基准测试
pgbench、tsbs压测,解读测试报告
压测基准
27
容量规划与成本控制
数据量预估、存储成本、按需扩容,节省40%费用
容量成本
28
安全与权限管理
行级安全RLS、SSL加密、审计日志,合规要求
安全权限
29
实战案例:A股Level-2行情库
从零搭建、架构设计、部署调优全流程复盘
实战Level-2
30
未来趋势与选型建议
Serverless、QuestDB、VictoriaMetrics,下一代架构展望
趋势选型