4、SMP模式深入：Zephyr SMP调度器原理、spinlock与自旋锁实现、per-CPU变量
好，咱们接着聊SMP。上一章我们把多核启动和CPU管理讲清楚了，这一章要深入内核最核心的部分——调度器。说实话，SMP调度器是Zephyr里我花时间最多的地方。为什么？因为单核调度你只要管好一个队列就行，多核就不一样了——你得考虑负载均衡、锁竞争、缓存一致性……坑特别多。
4.1 Zephyr SMP调度器原理
先说说调度器在SMP下是怎么工作的。Zephyr的调度器本质上是个优先级抢占式调度器，每个CPU核心都维护一个就绪队列。嗯，这里要注意：是每个核心一个队列，不是全局一个。
核心设计思想：每个CPU核心独立运行调度器，通过IPI（核间中断）来同步状态。
具体流程是这样的：
- 每个CPU核心在空闲时，会从自己的就绪队列里挑一个最高优先级的线程来跑
- 如果当前核心的队列空了，它会去偷其他核心的线程——这叫负载均衡
- 当一个线程被唤醒时，调度器会决定把它放到哪个核心的队列里
我个人习惯把SMP调度器的工作分成三个场景：
| 场景 | 触发条件 | 调度行为 |
|---|---|---|
| 本地调度 | 当前线程主动让出CPU（yield/sleep） | 从本地队列选下一个线程 |
| 远程唤醒 | 其他核心上的线程被唤醒 | 发送IPI，目标核心重新调度 |
| 负载均衡 | 本地队列为空，或负载差异过大 | 从其他核心偷线程 |
你可能会问：为什么要每个核心一个队列？直接一个全局队列不行吗？
我刚开始也这么想。后来在项目里试过全局队列的方案——结果发现锁竞争太严重了。每个核心取任务都要抢锁，多核性能反而比单核还差。所以Zephyr选择了per-CPU队列，配合lazy负载均衡策略，只在必要时才迁移线程。
4.2 spinlock与自旋锁实现
说到锁，SMP下最基础的就是自旋锁（spinlock）。Zephyr的自旋锁实现，说白了就是一段原子操作+忙等待的代码。
先看核心数据结构：
struct z_spinlock {
atomic_t val;
#ifdef CONFIG_SMP
uint8_t key;
#endif
};嗯，这个结构很简单对吧？就是一个原子变量。但在SMP下，它背后的事情可不少。
Zephyr的自旋锁实现分两层：
- 底层：用CPU的原子指令（比如ARM的LDREX/STREX，x86的LOCK CMPXCHG）实现锁的获取和释放
- 上层：封装成API，自动处理中断屏蔽
我记得有一次调试一个死锁问题，查了两天才发现是中断上下文里用了自旋锁。Zephyr的spinlock有个关键特性：获取锁时会自动保存并屏蔽本地中断。为什么？因为如果你在中断里拿锁，中断又打断了持有锁的线程——那就死锁了。
避坑指南：我曾经在中断服务函数里直接调用k_spin_lock()，结果系统卡死。后来才意识到，Zephyr的spinlock在SMP下必须配合irq_lock使用。正确的做法是用spinlock_key_t保存中断状态。
正确的使用方式是这样的：
struct z_spinlock lock;
spinlock_key_t key;
key = k_spin_lock(&lock);
/* 临界区代码 */
k_spin_unlock(&lock, key);注意那个key参数——它保存了进入临界区之前的中断状态。释放锁时，会恢复原来的中断屏蔽状态。这个设计很巧妙，避免了嵌套中断的问题。
4.3 per-CPU变量
per-CPU变量，说白了就是每个CPU核心都有自己的副本。在Zephyr里，这是通过链接脚本和段定义实现的。
先看声明方式：
#define ARCH_PER_CPU_DATA(type, name) \
__attribute__((section(".percpu." #name))) type name嗯，这里用到了GCC的section属性。所有per-CPU变量都被放到一个特殊的段里，链接器会为每个CPU核心分配独立的副本。
访问per-CPU变量时，Zephyr会通过CPU ID索引来定位当前核心的副本：
#define arch_curr_cpu() \
((struct cpu_data *)__per_cpu_start + _current_cpu->id)我建议你在写SMP驱动时，尽量用per-CPU变量来保存核心私有的状态。比如每个核心的定时器、每个核心的统计计数器。为什么？因为per-CPU变量天然避免了锁竞争——你不需要加锁，因为每个核心只读写自己的副本。
个人经验：我在做网络协议栈优化时，把每个连接的统计计数器改成了per-CPU变量。结果吞吐量提升了30%——因为省掉了大量的原子操作和缓存同步开销。
per-CPU变量的典型应用场景：
- 调度器就绪队列（每个核心一个）
- 中断嵌套计数器
- 性能监控计数器
- 内存分配器的本地缓存
不过要注意一点：per-CPU变量虽然避免了锁，但带来了数据同步的问题。如果你需要全局统计值，就得定期把各核心的per-CPU数据汇总起来。这个汇总操作本身需要加锁，但频率可以很低——比如每秒一次。
最后说个我踩过的坑：per-CPU变量在CPU热插拔场景下要特别小心。如果一个核心被下线了，它的per-CPU数据怎么办？Zephyr目前的做法是：下线核心的数据保留，但不再更新。如果你在汇总时访问了下线核心的数据，可能会读到过时的值。嗯，这个问题在Zephyr 3.2版本里还没有完美解决，社区正在讨论方案。
好了，这一章的内容就到这里。SMP调度器、自旋锁、per-CPU变量，这三样东西是Zephyr多核编程的基石。下一章我们会讲内存管理——嗯，那又是另一个大坑了。