第二章：嵌入式GPU架构详解：NVIDIA Jetson系列、ARM Mali GPU、核心计算单元与内存层次
好，我们直接进入正题。嵌入式GPU这块，说实话，水挺深的。市面上那么多芯片，真正能在AI推理场景里站住脚的，其实就两大阵营：NVIDIA的Jetson系列，和ARM的Mali系列。我这些年做项目，这两家没少打交道，踩过的坑、总结的经验，今天全抖给你们。
2.1 NVIDIA Jetson系列：从TX2到Orin的进化之路
先聊Jetson。我个人习惯把Jetson系列分成三代：TX2是开山鼻祖，Xavier是承上启下，Orin是现在的扛把子。
2.1.1 核心计算单元：GPU与DLA的协同
Jetson的GPU核心，说白了就是NVIDIA桌面级GPU的「瘦身版」。拿Orin来说，它集成了Ampere架构的GPU，有2048个CUDA核心。但真正让它在嵌入式领域封神的，是那个叫DLA（Deep Learning Accelerator）的东西。
关键点：DLA是专门为深度学习推理设计的固定功能加速器。它不像CUDA核心那样万能，但跑卷积、激活函数这些操作，效率高得吓人。
我在项目中遇到过一个问题：用纯GPU跑YOLOv5，功耗直接飙到30W，散热压不住。后来把卷积层全部丢给DLA，GPU只处理后处理，功耗直接降到15W，帧率还提升了20%。嗯，这就是混合调度的魅力。
2.1.2 内存层次：统一内存的陷阱
Jetson用的是统一内存架构，CPU和GPU共享同一块物理内存。听起来很美对吧？但坑就在这里。
| 内存类型 | 带宽 | 延迟 | 典型用途 |
|---|---|---|---|
| L1 Cache | 极高 | ~1ns | 寄存器、局部变量 |
| L2 Cache | 高 | ~10ns | 共享数据、中间结果 |
| 系统内存（LPDDR5） | ~200GB/s | ~100ns | 模型权重、输入输出 |
避坑指南：我曾经以为统一内存就是「随便用」，结果发现CPU和GPU频繁争抢内存带宽，推理速度直接腰斩。后来我强制把模型权重pin在GPU侧，才解决了这个问题。
2.2 ARM Mali GPU：移动端的隐形冠军
说完NVIDIA，咱们聊聊ARM Mali。你可能觉得Mali就是手机GPU，上不了台面。但你想想看，现在有多少边缘设备在用ARM芯片？树莓派、瑞芯微、全志……这些芯片里，Mali GPU的出货量比Jetson大好几个数量级。
2.2.1 核心架构：Valhall与第五代
Mali GPU的架构演进很有意思。从Bifrost到Valhall，再到现在的第五代，核心思路一直是「多核并行」。每个Shader Core里包含多个执行引擎，专门处理向量运算。
我刚开始接触Mali时，总觉得它不如CUDA灵活。后来发现，Mali的OpenCL支持其实很完善，只是文档写得……嗯，一言难尽。你想想看，一个函数参数能写三页文档，谁看得下去？
2.2.2 内存层次：显存共享的玄学
Mali用的是统一内存模型，但和Jetson不一样，它没有独立的显存。所有数据都放在系统内存里，GPU通过MMU访问。
- L1 Cache：每个Shader Core独享，16KB-32KB
- L2 Cache：所有Shader Core共享，256KB-2MB
- 系统内存：通过DMA传输，带宽取决于内存控制器
个人经验：在Mali上做推理优化，核心就是「减少内存访问」。我习惯把卷积核量化到int8，这样权重体积直接缩小4倍，带宽压力小很多。有一次在RK3588上跑MobileNet，量化后帧率从15fps飙到45fps，效果立竿见影。
2.3 核心计算单元对比：CUDA vs Shader Core
好，咱们来做个硬核对比。Jetson的CUDA核心和Mali的Shader Core，到底差在哪？
| 特性 | NVIDIA CUDA Core | ARM Mali Shader Core |
|---|---|---|
| 指令集 | 专有（PTX/SASS） | 标准（OpenCL/SPIR-V） |
| 编程模型 | CUDA C++ | OpenCL、Vulkan Compute |
| 张量核心 | 有（Tensor Core） | 无（依赖通用ALU） |
| 典型功耗 | 7.5W-30W | 2W-10W |
| 生态成熟度 | 极高 | 中等 |
说白了，CUDA Core是「特种兵」，专为AI推理优化；Mali Shader Core是「全能兵」，什么都能干，但什么都不精。你想想看，如果你的模型里全是卷积和矩阵乘，那Jetson是首选；如果模型里还有大量自定义算子，Mali反而更灵活。
2.4 内存层次优化实战：以Jetson Orin为例
光说不练假把式。咱们拿Jetson Orin举个例子，看看怎么优化内存访问。
// 错误示例：频繁的CPU-GPU数据拷贝
cudaMemcpy(d_input, h_input, size, cudaMemcpyHostToDevice);
for (int i = 0; i < 100; i++) {
inference_kernel<<<grid, block>>>(d_input, d_output);
cudaMemcpy(h_output, d_output, size, cudaMemcpyDeviceToHost);
// 处理结果...
cudaMemcpy(d_input, h_input, size, cudaMemcpyHostToDevice);
}
// 正确做法：使用CUDA Stream和异步拷贝
cudaStream_t stream;
cudaStreamCreate(&stream);
cudaMemcpyAsync(d_input, h_input, size, cudaMemcpyHostToDevice, stream);
for (int i = 0; i < 100; i++) {
inference_kernel<<<grid, block, 0, stream>>>(d_input, d_output);
cudaMemcpyAsync(h_output, d_output, size, cudaMemcpyDeviceToHost, stream);
// 在CPU上处理上一帧的结果，同时GPU在推理下一帧
}
cudaStreamSynchronize(stream);核心思路：让CPU和GPU「流水线作业」，而不是「排队等待」。我见过太多人把GPU当CPU用，结果性能惨不忍睹。
2.5 总结与思考
嵌入式GPU架构这块，其实没有银弹。Jetson强在生态和算力，Mali强在功耗和普及度。我的建议是：
- 如果你做的是高端边缘计算（比如自动驾驶、工业检测），Jetson Orin是首选
- 如果你做的是消费级产品（比如智能家居、门禁），Mali+ARM的组合更划算
- 不管选哪个，内存优化永远是第一优先级
嗯，这一章就到这。下一章咱们聊聊NPU架构，那又是另一番天地了。