量化平台消息中间件深度实践

📚 共计 30 章节

量化消息中间件概述

消息中间件在量化系统中的作用 · 主流对比 (RabbitMQ vs Kafka vs Pulsar) · 选型考量

Kafka核心概念

Topic与Partition · Producer与Consumer · Broker与Cluster · Offset与Consumer Group

Kafka安装与配置

单机/集群部署 · 关键参数 (acks, retries, batch.size) · JMX监控

Kafka生产者深度实践

发送模式(同步/异步/批量) · 分区策略 · 幂等性与事务 · 实盘参数调优

生产者调优

Kafka消费者深度实践

消费模式(pull vs push) · Rebalance · 位移提交 · 顺序消费与幂等

消费者Rebalance

Kafka存储与可靠性

日志存储结构 · Segment与Index · 数据清理 · 副本与ISR

存储可靠性

Kafka Streams与KSQL

流处理基础 · 状态存储 · 窗口操作 · 量化指标计算

RabbitMQ核心概念

Exchange与Binding · Queue与Message · Virtual Host · AMQP协议

RabbitMQ安装与配置

Erlang环境 · 单机/集群 · 管理插件 · 镜像队列

RabbitMQ生产者实践

Exchange类型(Direct/Fanout/Topic/Headers) · 消息确认 · Return机制

生产者Exchange

RabbitMQ消费者实践

消费确认(ACK/NACK) · QoS预取 · 死信队列 · 延迟队列

消费者死信

RabbitMQ高级特性

TTL与过期 · 优先级队列 · 惰性队列 · Shovel与Federation

Pulsar核心概念

Topic与Partition · Producer与Consumer · Subscription模式 · BookKeeper存储

Pulsar安装与配置

单机/集群 · Geo-Replication · 分层存储

Pulsar生产者实践

发送模式 · 批量与压缩 · Chunking · 消息去重

生产者去重

Pulsar消费者实践

消费模式(Exclusive/Failover/Shared/Key_Shared) · 负确认 · Reader API

消费者Subscription

Pulsar Functions与IO

轻量计算 · Connector生态 · 行情清洗

消息中间件对比与选型

吞吐/延迟/持久化/运维对比 · 量化场景选型建议

量化行情数据分发

Tick级行情推送 · Level-2分发 · 多交易所聚合 · 降采样

量化订单路由与执行

订单消息格式 · 生命周期管理 · 成交回报 · 风控拦截

量化策略信号分发

信号消息格式 · 多策略并行 · 合并与冲突 · 回测实盘一致性

消息中间件监控与告警

关键指标(吞吐/延迟/堆积) · Prometheus+Grafana · 自定义告警

消息中间件高可用与容灾

多集群 · 跨机房同步 · 故障切换 · 数据一致性

高可用容灾

消息中间件安全实践

SSL/TLS · SASL认证 · ACL权限 · 审计日志

消息中间件性能调优

OS调优(Page Cache/网络) · JVM调优 · 客户端参数 · 压测

消息中间件与微服务集成

Spring Boot集成Kafka/RabbitMQ/Pulsar · 异步通信 · 事件驱动

微服务Spring

消息中间件与大数据生态

Kafka Connect · Flink/Spark集成 · 数据湖写入

消息中间件在回测系统中的应用

回测事件驱动 · 历史回放 · 模拟撮合 · 一致性

回测事件驱动

消息中间件在实盘交易系统中的应用

低延迟链路 · 多策略路由 · 风控消息流 · 日志审计

实盘低延迟

消息中间件未来趋势

云原生 · Serverless · 边缘计算 · AI驱动调度

趋势云原生