📘 实时索引更新机制
30章 · 从原理到实战
1
索引基础回顾
倒排索引 · 正排/倒排对比 · 跳表/FST
2
实时索引概述
定义 · 为什么需要 · 与批量对比
3
全量构建与增量构建
全量流程 · 增量流程 · 协同工作
4
近实时搜索(NRT)原理
核心思想 · 延迟分析 · Lucene实现
5
内存缓冲区设计
双缓冲区 · WriteBuffer/ReadBuffer · 刷盘
6
Segment合并策略
分段模型 · 触发条件 · Tiered/Log
7
删除与更新处理
软删除 · 标记/物理删除 · 更新流程
8
事务日志(WAL)
WAL作用 · 写入流程 · 故障恢复
9
索引刷新(Refresh)机制
Refresh间隔 · 手动触发 · 性能影响
10
索引提交(Commit)机制
Commit vs Flush · 原子性 · 持久化
11
实时索引的数据一致性
最终一致性 · 读写一致 · 不丢数据
12
分布式实时索引架构
分片/副本 · 路由 · 协调节点
13
Elasticsearch实时索引实现
写入流程 · Translog · Refresh/Flush
14
Solr实时索引实现
软/硬提交 · NRT模式 · 与ES对比
15
Lucene底层实时索引
IndexWriter · DWPT · 合并与刷新
16
Kafka在实时索引中的应用
数据管道 · 顺序保证 · Exactly-Once
17
Flink实时索引处理
Flink+索引引擎 · 状态后端 · Exactly-Once
18
内存管理与GC优化
堆内存 · Direct Memory · GC调优
19
索引性能调优
写入/查询优化 · 资源隔离
20
监控与告警
关键指标 · Prometheus+Grafana
21
常见问题与排障
积压 · OOM · 合并风暴 · 数据丢失
22
实时索引的测试策略
压力测试 · 混沌工程 · 正确性验证
23
多租户实时索引
资源隔离 · 配额 · 共享集群
24
时间序列数据的实时索引
特殊优化 · 滚动索引 · 降采样
25
地理空间数据的实时索引
GeoHash · 四叉树 · 实时更新
26
全文搜索的实时索引
分词器 · 同义词更新 · 实时体验
27
向量索引的实时更新
HNSW · 增量插入 · 实时ANN
28
实时索引的容灾与备份
跨机房复制 · 快照 · 主从切换
29
未来趋势
Serverless · 云原生 · 硬件加速
30
综合实战
构建百万级QPS实时搜索引擎