一、GPU计算概述：GPU与CPU的区别、GPU在嵌入式视觉中的价值、课程目标与学习路径
1.1 为什么嵌入式视觉需要GPU？
先问大家一个问题：你手上的手机、无人机、或者智能摄像头，凭什么能实时识别人脸、检测障碍物？
答案其实就藏在GPU里。我刚开始做嵌入式视觉那会儿，用的是纯CPU方案。跑一个简单的Canny边缘检测，640x480的图像，帧率勉强到15帧。后来换了块带GPU的嵌入式板卡，同样的算法，直接飙到60帧。嗯，这就是差距。
说白了，CPU和GPU的设计哲学完全不同。CPU是「全能选手」，擅长处理各种复杂的逻辑任务，但它的核心数量少（一般4-8核），每个核的缓存大、控制单元复杂。GPU呢？它是「专才」，拥有成百上千个简单计算核心，专门用来做大规模并行计算。
核心区别一句话总结：CPU适合串行、复杂的控制流；GPU适合并行、简单的数据流。
1.2 CPU vs GPU：一张表看懂
| 对比维度 | CPU | GPU |
|---|---|---|
| 核心数量 | 4-16个（高性能） | 数百到数千个 |
| 设计目标 | 低延迟、复杂逻辑 | 高吞吐、大规模并行 |
| 缓存结构 | 大缓存（L1/L2/L3） | 小缓存，依赖共享内存 |
| 适用场景 | 操作系统、数据库、控制流 | 图像处理、矩阵运算、深度学习 |
| 功耗（嵌入式） | 5-15W | 10-30W（含CPU） |
我在项目中遇到过不少新手，上来就想用GPU跑所有算法。其实没必要。比如控制逻辑、文件I/O、网络通信这些，CPU做得更好。GPU只负责那些「重复、简单、数据量大」的计算任务。
1.3 GPU在嵌入式视觉中的价值
嵌入式视觉有几个硬性要求：实时性、低功耗、小体积。GPU恰好能在这几个点上发力。
- 实时性：图像处理本质上是像素级的并行操作。一个3x3的卷积核，CPU要逐像素遍历，GPU可以一次性启动几百个线程同时算。我做过一个车牌识别项目，用CPU处理一帧要80ms，换成GPU后降到12ms，直接满足了30帧的实时要求。
- 能效比：很多人觉得GPU功耗高。其实在同等算力下，GPU的能效比（每瓦特产生的计算量）远高于CPU。比如NVIDIA的Jetson系列，整板功耗才15W，却能跑出1TFLOPs的算力。
- 算法兼容性：现在的深度学习推理、光流法、特征匹配，几乎都原生支持GPU加速。你想想看，如果不用GPU，这些算法在嵌入式设备上根本跑不动。
避坑指南：我曾经在一个项目中，为了省电，坚持用CPU跑YOLOv3。结果帧率只有2帧，产品根本没法用。后来换了Jetson Nano，功耗只多了3W，帧率直接到25帧。所以，别在功耗上钻牛角尖，算力才是王道。
1.4 课程目标：你能学到什么？
这门课不是讲理论，是讲「落地」。我把它拆成三个层次：
- 基础层：理解GPU的硬件架构（SM、Warp、Shared Memory），掌握CUDA编程的基本范式。说白了，就是知道怎么把一段C代码改成能在GPU上跑的代码。
- 应用层：针对嵌入式视觉的常见场景，比如图像滤波、特征提取、深度学习推理，给出具体的GPU加速方案。每个案例我都会附上完整的代码和性能对比。
- 优化层：这是最值钱的部分。内存访问模式、线程束发散、流水线重叠……这些技巧能让你的程序再快3-5倍。我踩过的坑，你就不用再踩了。
1.5 学习路径：我建议你这样走
我个人习惯把学习路径分成四个阶段，每个阶段对应一个具体的产出：
- 第一阶段（第1-5章）：搭建开发环境，跑通第一个CUDA程序。别贪多，能打印出"Hello GPU"就算过关。
- 第二阶段（第6-15章）：掌握核心编程模型。包括线程层次、内存模型、同步机制。这个阶段要多写代码，我建议你每天至少写50行CUDA代码。
- 第三阶段（第16-25章）：实战嵌入式视觉项目。从图像灰度化、直方图均衡化，到SIFT特征匹配、YOLO推理。每个项目我都会给出性能对比数据。
- 第四阶段（第26-30章）：高级优化与部署。包括TensorRT加速、多GPU协同、功耗调优。这部分是真正拉开差距的地方。
重要提醒：不要跳过基础直接做项目。我见过太多人，一上来就想跑YOLO，结果连线程块大小都配不对，跑出来的结果全是错的。基础不牢，地动山摇。
1.6 你需要准备什么？
硬件方面，我推荐NVIDIA Jetson系列（Nano、TX2、Xavier NX都行）。如果没有，用带NVIDIA显卡的PC也能学，只是最后部署到嵌入式设备时可能需要调整。
软件方面，你需要安装CUDA Toolkit（11.0以上版本）、OpenCV（带CUDA支持）、以及一个趁手的IDE（我习惯用VS Code + SSH远程开发）。
嗯，第一章就到这里。下一章我们直接上手，搭建开发环境，跑第一个CUDA程序。到时候你会发现，GPU编程其实没那么神秘。