第1章课程导论与嵌入式AI现状

一、课程导论与嵌入式AI现状

大家好，我是你们这门课的老朋友。说实话，在嵌入式设备上跑大模型这事儿，几年前我想都不敢想。但现在，它真的来了，而且来势汹汹。

今天这第一节课，我们不急着写代码。先聊聊现状，聊聊挑战，也聊聊我们这门课到底要带大家走到哪里去。

先说说 TensorRT-LLM。这玩意儿，说白了就是英伟达给大语言模型专门搞的一套推理加速库。它不是凭空冒出来的，而是基于 TensorRT 这个老牌推理引擎，针对 Transformer 架构做了大量定制优化。

我个人习惯把它理解成「大模型的加速器」。你想想看，一个几十亿参数的模型，在普通 CPU 上跑，生成一句话可能要等半天。但用上 TensorRT-LLM，配合 GPU 的并行计算能力，延迟能降到原来的十分之一甚至更低。

它主要做了几件事：

核心要点：TensorRT-LLM 不是万能的，但它是在 NVIDIA GPU 上跑大模型时，目前能拿到的最优解之一。

嗯，这里要重点说说。把大模型塞进嵌入式设备，这事儿有多难？我给大家列几个硬骨头：

嵌入式 GPU 的算力，跟数据中心里的 A100、H100 完全不是一个量级。Jetson Orin 系列算力已经算不错了，但跟服务器比还是差着数量级。我在项目中遇到过，一个 7B 的模型在 Orin NX 上跑，如果不做优化，生成速度慢到让人抓狂。

大模型动辄几个 GB 甚至十几个 GB 的参数量。嵌入式设备的内存呢？Jetson Nano 才 4GB，Orin NX 也就 16GB。模型都装不下，还谈什么推理？

嵌入式设备往往靠电池供电，散热条件也有限。你让 GPU 满负荷跑大模型，温度蹭蹭往上涨，功耗也扛不住。我曾经调试一个项目，模型推理时温度直接飙到 85 度，系统自动降频，性能反而更差了。

嵌入式平台五花八门，ARM、x86、RISC-V，驱动版本、CUDA 版本、库的兼容性，处处是坑。TensorRT-LLM 官方主要支持 x86 平台，移植到 ARM 上，你得自己踩不少雷。

避坑提醒：我曾经在 Jetson Xavier NX 上移植 TensorRT-LLM，因为 CUDA 版本不匹配，折腾了整整两天。所以，开始之前一定要确认好环境版本。

这门课的目标很明确——带大家把 TensorRT-LLM 真正跑在嵌入式设备上，并且跑得稳、跑得快。

具体来说，我们会覆盖：

我的建议：别指望一节课就能把所有问题都解决。嵌入式 AI 这行，经验是慢慢积累的。每节课后，自己动手跑一遍，比看十遍都管用。

这门课一共 10 个章节，我设计了一个循序渐进的学习路径。先给大家画个图，心里有个谱：

这个路径是我自己摸索出来的。一开始直接上手调优，结果发现环境都没配好，白费功夫。所以，我建议大家按部就班来，别跳步。

在开始之前，我列个清单，大家对照着准备：

小提示：如果你手头没有 Jetson 设备，也可以用 x86 的 Linux 机器先跟着学。大部分操作是通用的，只是最后部署环节需要调整。

嵌入式 AI 这个领域，变化太快了。今天的新技术，明天可能就过时了。但有些东西是不变的——对底层原理的理解，动手解决问题的能力，以及踩坑之后爬起来继续干的韧性。

这门课不会教你所有答案，但会给你一套方法论。剩下的，靠你自己去摸索。