传感器数据流架构设计与性能优化 · 课程目录

点击卡片直达章节 · 从入门到前沿

完整目录 · 友好色系

01 传感器数据流概述

物联网数据洪流
定义与特征
典型应用场景

进入章节

02 数据流架构基础

设计原则
分层架构模型
数据流生命周期

进入章节

03 数据采集层设计

传感器选型/接口
采集网关架构
边缘采集策略

进入章节

04 数据预处理技术

数据清洗
格式化/标准化
时间戳对齐

进入章节

05 数据传输协议

MQTT详解
CoAP对比
HTTP2/gRPC

进入章节

06 消息队列选型

Kafka核心
RabbitMQ vs Kafka
持久化/可靠性

进入章节

07 流处理引擎

Flink基础
时间语义/Watermark
状态管理/容错

进入章节

08 实时计算框架

Spark Streaming
Storm/Flink对比
CEP复杂事件

进入章节

09 数据存储方案

时序数据库选型
分片/分区策略
冷热数据分离

进入章节

10 数据湖与数据仓库

Delta Lake/Iceberg
Lambda/Kappa
流批一体

进入章节

11 性能指标与监控

延迟/吞吐量
Prometheus+Grafana
自定义监控

进入章节

12 性能瓶颈分析

CPU密集型优化
内存/GC调优
I/O异步化

进入章节

13 数据序列化优化

Protobuf/Avro/Thrift
Schema Registry
压缩算法

进入章节

14 网络传输优化

TCP参数调优
QUIC协议
带宽控制

进入章节

15 缓存策略设计

多级缓存架构
Redis应用
穿透/击穿/雪崩

进入章节

16 背压机制

背压原理
Flink背压实现
自定义策略

进入章节

17 数据一致性保证

Exactly-Once
分布式事务Saga
幂等性设计

进入章节

18 容错与高可用

副本/Leader选举
故障检测恢复
异地多活

进入章节

19 安全与权限控制

TLS/SSL加密
JWT/OAuth2
数据脱敏审计

进入章节

20 大规模集群部署

K8s编排IoT
自动扩缩容
资源配额管理

进入章节

21 数据治理与元数据

数据血缘追踪
数据质量监控
Apache Atlas

进入章节

22 边缘计算架构

边缘节点设计
云边协同
边缘AI推理

进入章节

23 AI与数据流结合

异常检测算法
预测性维护
实时特征工程

进入章节

24 成本优化

分层存储
计算弹性伸缩
数据生命周期

进入章节

25 测试与压测

单元/集成测试
JMeter/Locust
混沌工程

进入章节

26 日志与链路追踪

ELK/EFK
OpenTelemetry
SLO/SLI/SLA

进入章节

27 版本管理与CI/CD

作业版本控制
CI/CD流水线
蓝绿/金丝雀

进入章节

28 案例实战

智能工厂
车联网实时处理
智慧城市环境

进入章节

29 前沿趋势

Serverless数据流
eBPF监控
WebAssembly边缘

进入章节

30 课程总结与展望

架构设计心法
常见误区复盘
学习路径推荐

进入章节