1. 实时数据传输概述
大家好，我是这门课的主讲人。今天咱们聊聊实时数据传输——这个听起来有点高大上、其实每天都在影响你我的技术。
先问个问题：你刷抖音的时候，为什么能实时看到点赞数跳动？你下单外卖，为什么能实时追踪骑手位置？这些背后，都离不开实时数据传输。
什么是实时数据？
实时数据，说白了就是「数据产生后，几乎立刻被处理和使用」。这个「几乎立刻」有多快？
- 毫秒级：金融交易中的价格变动
- 秒级：物联网传感器的温度上报
- 分钟级：在线广告的点击归因
我个人习惯把实时数据分成两类：
- 流式数据：源源不断、没有尽头。比如用户点击流、服务器日志。
- 事件数据：离散的、有明确边界。比如下单成功、支付失败。
核心要点：实时数据的灵魂是「低延迟」。延迟越低，实时性越强。
实时与批处理的区别
很多新手会问：实时和批处理到底差在哪？我拿做饭打个比方：
- 批处理：像周末大扫除，攒了一周的脏衣服，一次性洗掉。效率高，但等得久。
- 实时处理：像洗碗机，吃完一个碗洗一个碗。响应快，但资源消耗大。
具体区别，我整理了一张表：
| 维度 | 批处理 | 实时处理 |
|---|---|---|
| 延迟 | 分钟~小时 | 毫秒~秒 |
| 数据量 | 大（TB级） | 小（MB~GB级） |
| 处理模式 | 定时触发 | 持续运行 |
| 典型工具 | Hive、Spark SQL | Kafka、Flink |
| 容错方式 | 重跑整个批次 | Checkpoint + 重放 |
我的经验：我在项目中遇到过，有人非要用批处理做实时监控。结果呢？数据延迟半小时，报警都成「事后诸葛亮」了。选对技术栈，比什么都重要。
实时数据传输的应用场景
聊点实际的。实时数据传输到底用在哪？我挑三个典型场景说说：
1. 金融交易
这个场景对延迟最敏感。股票价格、外汇汇率，每毫秒都在变。
- 行情推送：毫秒级更新
- 风控检测：交易前实时校验
- 量化交易：算法自动下单
我曾经参与过一个证券交易系统，延迟要求是 5 毫秒以内。超过这个阈值，交易员就会亏钱。嗯，那段时间我做梦都在优化网络传输。
2. 物联网监控
工厂里的传感器、智能电表、车载设备……这些设备每秒都在产生数据。
- 设备状态上报：温度、湿度、振动
- 异常告警：设备故障实时通知
- 远程控制：下发指令到设备
你想想看，一个化工厂的温度传感器如果延迟上报 10 分钟，可能就出大事了。所以物联网场景下，实时性就是安全性。
3. 在线广告
广告系统是实时数据最「卷」的领域之一。
- 用户点击：实时记录行为
- 竞价排名：毫秒级出价
- 效果归因：实时计算 ROI
我记得有一次，广告主投诉说点击数据延迟了 30 秒。结果一查，是 Kafka 的消费者 lag 太高。从那以后，我养成了每天监控 lag 的习惯。
课程整体架构预览
这门课一共 30 章，我把它分成四个阶段：
- 基础篇（1-5章）：概念、协议、序列化
- 核心篇（6-15章）：Kafka、Pulsar、RocketMQ
- 进阶篇（16-25章）：Flink、Spark Streaming、容错机制
- 实战篇（26-30章）：项目实战、性能调优、监控告警
下面这张图，是我手绘的课程知识体系：
避坑指南：我曾经见过有人跳过基础篇直接学 Flink。结果呢？连 Kafka 的 partition 机制都搞不懂，调试起来一头雾水。建议按顺序学，别跳级。
本章小结
这一章我们聊了：
- 实时数据的定义和分类
- 实时与批处理的本质区别
- 三个典型应用场景
- 课程的整体架构
说白了，实时数据传输就是「让数据跑得更快」。后面的章节，我会带你一步步搭建自己的实时数据通道。准备好了吗？