1. 课程导学与前置准备

大家好,我是你们的讲师。在开始动手之前,我想先聊聊这门课到底要带你做什么,以及你需要准备些什么。

说实话,我见过太多人一上来就急着敲命令,结果环境没配好,折腾半天连个容器都跑不起来。所以这一章,咱们先把地基打牢。

课程目标:你到底能学到什么?

这门课的目标很明确——让你从零开始,把 vLLM 跑在 Kubernetes 上。说白了,就是让大模型推理服务化、容器化、集群化。

具体来说,学完这门课,你能做到三件事:

  • 理解 vLLM 是什么——它为什么快?适合什么场景?
  • 会构建 vLLM 容器镜像——从 Dockerfile 到镜像仓库,一条龙搞定
  • 能在 K8s 上部署并调优——包括 GPU 调度、自动扩缩容、日志监控

我个人习惯把目标拆成「知道」和「做到」两层。知道是理解原理,做到是能动手。这门课更偏后者——你跟着我敲一遍,比看十遍文档都管用。

学习路径:怎么学最省力?

我建议你按这个顺序来:

  1. 先看导学——就是你现在看的这一章,搞清楚全貌
  2. 再搭环境——云服务器或虚拟机,选一个就行
  3. 然后动手——从构建镜像到部署服务,一步步来
  4. 最后优化——调参、监控、排错,这些才是实战精华

你想想看,如果连 Docker 都没装好,后面讲 K8s 调度 GPU 你肯定听得云里雾里。所以别跳步,稳一点。

前置知识:你需要会什么?

这门课不是完全零基础,你需要具备以下两点:

Docker 基础

  • 知道 docker rundocker build 怎么用
  • 理解镜像和容器的区别
  • 会写简单的 Dockerfile

如果你还不太熟,别慌。我在项目中遇到过很多新人,他们最大的问题不是不会写 Dockerfile,而是不知道为什么要用容器。记住一句话:容器就是轻量级的虚拟机,但共享宿主机内核。

Linux 基础

  • 会基本的命令行操作:cdlsvimchmod
  • 知道 systemctl 管理服务
  • 能看懂简单的 Shell 脚本

嗯,这里要注意——如果你连 sudo 是什么都不知道,建议先花半天补一下 Linux 基础。我曾经带过一个学员,他在 / 目录下执行了 rm -rf *……嗯,后果你懂的。

实验环境准备:云服务器还是本地虚拟机?

这是很多人纠结的问题。我直接给你结论:

方案 优点 缺点 适合谁
云服务器(推荐) 开箱即用,GPU 可选,网络稳定 需要付费,按量计费 有预算、想省事的同学
本地虚拟机 免费,完全可控 配置低,GPU 难直通,网络可能受限 学生党、只想练手

我个人习惯用云服务器。为什么呢?因为 vLLM 需要 GPU,而本地虚拟机想直通 GPU 非常麻烦,搞不好要折腾一整天。云服务器选个带 T4 或 A10 的实例,半小时就能开始干活。

小提示: 如果你选云服务器,建议用 Ubuntu 22.04 LTS。我踩过坑——CentOS 的 Docker 版本太老,装 nvidia-docker 时各种报错。Ubuntu 省心很多。
避坑指南: 我曾经在本地用 VirtualBox 装 Ubuntu,结果发现 Docker 的 overlay2 存储驱动和 VirtualBox 的共享文件夹有冲突,容器启动就报错。后来改用云服务器,再也没出过这种问题。

知识体系一览

下面这张图,帮你快速看清本章的核心逻辑:

课程导学与前置准备 课程目标 理解 vLLM 原理 构建容器镜像 K8s 部署调优 学习路径 导学 → 环境 动手 → 优化 循序渐进 前置知识 Docker 基础 Linux 基础 命令行操作 环境准备 云服务器 / 虚拟机

这张图把本章内容串起来了。你从中心出发,先搞清楚目标,再按路径走,补齐前置知识,最后准备好环境。后面每一章都会延续这个结构。

最后说两句

这门课的内容,都是我实际运维中踩过坑、填过坑之后总结出来的。你跟着学,至少能少走一半弯路。

好了,前置准备就这些。下一章我们开始装 Docker 和 K8s 环境,到时候我会手把手带你配好。


专注资料整理