存储系统优化:延迟与带宽平衡的艺术

📚 共计 30 章节
01
存储系统概述
延迟与带宽的基本概念 · 存储层级结构 · 性能指标 (IOPS/吞吐量/延迟)
基础层级
02
物理存储介质
HDD机械硬盘 · SSD NAND Flash · NVMe vs AHCI
硬件协议
03
缓存原理
局部性原理 · 缓存命中率 · 替换策略 (LRU/LFU/FIFO)
缓存算法
04
内存子系统
DRAM vs SRAM · 内存带宽计算 · CAS延迟/行激活延迟
内存时序
05
I/O栈与协议
Linux I/O栈 · NVMe vs SCSI · io_uring异步I/O
内核协议
06
延迟优化技术
预取 · 写缓冲 · 合并写 (Write Coalescing)
优化延迟
07
带宽优化技术
条带化 · 交错 · 多通道 (Multi-Channel)
带宽并行
08
队列与调度
I/O调度器 (CFQ/Deadline/NOOP) · 多队列 vs 单队列
调度队列
09
NUMA架构
NUMA vs UMA · 本地/远程内存访问 · NUMA感知调度
架构内存
10
存储网络
iSCSI · FC光纤通道 · NVMe-oF
网络协议
11
RAID技术
RAID 0/1/5/6/10 · 条带大小 · 延迟/带宽权衡
冗余性能
12
分布式存储
Ceph (RADOS/CRUSH) · Raft/Paxos · 副本与纠删码
分布式一致性
13
键值存储
LSM-Tree (LevelDB/RocksDB) · Bloom Filter · Compaction
LSM键值
14
数据库存储引擎
B+树 vs LSM-Tree · InnoDB缓冲池 · WAL
数据库引擎
15
文件系统
Ext4 vs XFS · Journaling vs CoW · ZFS ARC
文件系统日志
16
内存计算
Redis持久化 (RDB/AOF) · 延迟优势 · Intel Optane PMem
内存持久化
17
压缩与去重
在线压缩 (LZ4/Zstd) · 重复数据删除 · 带宽影响
压缩去重
18
QoS与限流
令牌桶 · 漏桶算法 · IOPS/带宽限制
QoS限流
19
性能测试
Fio工具 · 延迟分布 (P99/P999) · 随机/顺序读写
测试基准
20
监控与调优
iostat/iotop/sar · perf与火焰图 · vm.dirty_ratio
监控调优
21
全闪存阵列
NVMe SSD集群 · NVMe over TCP · 全闪存架构
闪存阵列
22
混合存储
分层存储 (Tiering) · 缓存加速 (Intel CAS) · 冷热迁移
混合分层
23
存储虚拟化
VMware vSAN · KVM存储池 · VMDK/RAW性能
虚拟化超融合
24
云存储
AWS EBS vs EFS · 对象存储S3延迟 · 云盘性能突发
对象存储
25
持久化内存
PMem App Direct · DAX文件系统 · 对比DRAM+SSD
PMem持久内存
26
存储安全
AES-XTS加密 · 安全擦除 · TPM与密钥管理
安全加密
27
新型存储技术
ZNS SSD · 计算存储 · CXL (Compute Express Link)
前沿ZNS
28
案例研究:MySQL & Kafka
InnoDB调优 · Kafka磁盘写入优化
案例数据库
29
案例研究:Hadoop & Spark
HDFS延迟/带宽平衡 · Spark Shuffle优化
大数据案例
30
未来趋势
存储级内存 (SCM) · 存算一体 · AI驱动优化
趋势AI