第1章课程导论与预备知识

第一讲：课程导论与预备知识

各位同学好，我是这门课的主讲。在正式开始之前，我想先聊聊——强化学习在机器人控制中到底扮演什么角色？

说白了，传统控制方法就像你给机器人写死了一本操作手册。遇到手册里没写的情况，它就懵了。而强化学习呢？是让机器人自己学会写手册。我当年在实验室调四足机器人时，最头疼的就是地面摩擦系数一变，PID参数就得重调。后来换成强化学习，机器人自己学会了适应不同地面——嗯，那种感觉就像你终于教会了孩子骑自行车，而不是每次都帮他扶着车把。

1.1 强化学习在机器人控制中的定位

先看一张图，这是我个人习惯用的知识框架——帮你理清强化学习在整个机器人控制体系里的位置。

你看，强化学习不是要替代传统控制，而是补上传统方法搞不定的那一块——复杂、非线性、高维度的控制问题。比如让机械臂学会拧瓶盖，或者让双足机器人学会走楼梯。这些事你写规则写到吐血也写不完，但RL可以自己摸索出来。

核心观点：强化学习 = 试错 + 奖励驱动。机器人是智能体，环境是物理世界，目标是最大化累积奖励。

1.2 课程目标与学习路径

这门课的目标很明确：让你从零开始，亲手训练出一个能在仿真环境里跑起来的机器人控制策略。不是纸上谈兵，是真正能动的。

我个人建议的学习路径是这样的：

打好基础（第1-5章）——Python、PyTorch、Gymnasium、MuJoCo，这些工具你得先玩熟。
理解核心算法（第6-15章）——从Q-learning到PPO，每个算法我都会带着你手撕代码。
实战机器人控制（第16-25章）——倒立摆、四足机器人、机械臂操作，一个一个来。
进阶与部署（第26-30章）——Sim-to-Real迁移、分布式训练、模型部署到真实机器人。

我的经验：别急着跳着看。我见过太多同学直接跳到PPO章节，结果连状态空间和动作空间都搞混。一步一步来，反而最快。

1.3 Python与PyTorch环境搭建

好，咱们来点实际的。先把环境搭起来。

第一步：安装Python

我推荐用Python 3.8或3.9。为什么？因为有些老库对3.10以上支持不太好。我曾经在3.11上折腾了一下午，最后发现是版本兼容问题——嗯，这种坑踩过一次就够了。

# 建议用conda创建虚拟环境
conda create -n rl_robot python=3.9
conda activate rl_robot

第二步：安装PyTorch

去PyTorch官网选你的配置。一般来说，用CPU版本先跑通再说，后面再上GPU。

# CPU版本
pip install torch torchvision torchaudio

# GPU版本（CUDA 11.8为例）
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu118

注意：安装完记得验证一下。我习惯跑个小脚本：

import torch
print(torch.__version__)
print(torch.cuda.is_available())  # 如果是GPU版本，应该返回True

第三步：安装其他依赖

pip install numpy matplotlib pandas tqdm

1.4 Gymnasium与MuJoCo仿真器简介

这两个工具是咱们这门课的左膀右臂。

Gymnasium（以前叫OpenAI Gym）——说白了，它提供了一套标准化的「环境接口」。你写一个智能体，扔进去，它就能跟环境交互。我刚开始做RL时，最烦的就是每个项目都要自己写环境封装。Gymnasium把这套东西统一了，省了大事。

# 安装Gymnasium
pip install gymnasium

# 快速测试
import gymnasium as gym
env = gym.make("CartPole-v1")
observation, info = env.reset()
print(observation)  # 看看初始状态长什么样

MuJoCo——这是一个物理仿真引擎，专门用来模拟机器人运动。它算得快，精度高，而且免费了（感谢DeepMind）。

# 安装MuJoCo
pip install mujoco

# 测试是否安装成功
import mujoco
print(mujoco.__version__)

为什么选MuJoCo？我对比过Bullet、Isaac Gym、MuJoCo。MuJoCo的优势在于：

计算效率高——一个四足机器人仿真能跑到5000fps以上
接触模型稳定——不会出现机器人突然穿模的诡异情况
与Gymnasium集成好——有现成的gymnasium环境可以用

来，咱们跑一个完整的例子，看看Gymnasium + MuJoCo怎么配合：

import gymnasium as gym

# 创建MuJoCo环境（人形机器人）
env = gym.make("Humanoid-v4", render_mode="human")

# 重置环境
observation, info = env.reset()

# 随机跑100步
for _ in range(100):
    action = env.action_space.sample()  # 随机动作
    observation, reward, terminated, truncated, info = env.step(action)
    
    if terminated or truncated:
        observation, info = env.reset()

env.close()

跑起来了吗？你应该能看到一个人形机器人在那手舞足蹈——虽然动作很蠢，但这就是咱们的起点。

避坑指南：我第一次跑Humanoid时，发现机器人一启动就摔倒。后来检查发现是动作空间没归一化。MuJoCo的动作范围是[-1, 1]，但有些环境默认不是。记得用env.action_space确认一下。

本章小结

这一章咱们干了三件事：

搞清楚了强化学习在机器人控制中的位置——它不是万能药，但能解决传统方法搞不定的问题
理清了课程的学习路径——从工具到算法到实战，一步一个脚印
搭好了开发环境——Python + PyTorch + Gymnasium + MuJoCo，一个都不能少

环境搭好了，下一章咱们就开始真正接触强化学习的核心概念。到时候我会用代码带着你跑通第一个完整的RL训练流程。

📚 课程目录

第一讲：课程导论与预备知识

1.1 强化学习在机器人控制中的定位

1.2 课程目标与学习路径

1.3 Python与PyTorch环境搭建

1.4 Gymnasium与MuJoCo仿真器简介

本章小结