环境搭建:主流实验平台的安装与配置

做AI实验,说白了就是三件事:写代码、跑数据、看结果。而这三件事,都离不开一个靠谱的实验平台。我个人习惯把这几个平台比作「厨房」——Jupyter Lab是家里的精装厨房,Kaggle是别人家的共享厨房,Colab则是云端移动餐车。各有各的妙用,关键看你要做什么菜。

Jupyter Lab:本地开发的王牌

如果你问我本地开发用什么,我肯定首选Jupyter Lab。它比老版的Notebook强太多了——多标签、文件浏览器、终端集成,一套搞定。

安装步骤

嗯,这里要注意,安装前先确认你已经有Python环境。我个人推荐用Anaconda,省心。

# 用pip安装
pip install jupyterlab

# 或者用conda(我推荐这个)
conda install -c conda-forge jupyterlab

装完之后,终端敲一行命令就能启动:

jupyter lab

浏览器会自动打开,默认地址是 http://localhost:8888。你想想看,一个浏览器就能搞定代码编辑、数据可视化、文档撰写,是不是很爽?

我的小技巧: 在Jupyter Lab里按 Ctrl + Shift + C 可以调出命令面板,几乎所有操作都能搜到。我刚开始用的时候不知道这个,每次点菜单点得手酸。

常用插件配置

Jupyter Lab的强大之处在于插件生态。我列几个我常用的:

插件名 作用 安装方式
@jupyterlab/git 版本控制,直接图形化操作 pip install jupyterlab-git
@jupyterlab/toc 自动生成目录,长文档必备 内置,无需安装
jupyterlab_code_formatter 一键格式化代码 pip install jupyterlab_code_formatter
避坑指南: 我曾经在升级Jupyter Lab时忘了更新插件,结果界面直接崩了。建议每次升级后,用 jupyter lab build 重新构建一下。

Kaggle:拿来即用的竞赛平台

Kaggle这个平台,说白了就是AI界的「GitHub + 知乎 + 竞赛场」。你不需要配置任何环境,打开浏览器就能跑代码。我记得第一次用Kaggle时,最惊讶的是它居然免费提供GPU——虽然只有30小时/周,但对学习来说完全够用。

环境配置要点

Kaggle的环境是预配好的,你基本不用操心。但有几个点要注意:

  • 数据集挂载:/kaggle/input/ 路径访问比赛数据
  • 输出限制: 单个Notebook输出不能超过20GB
  • 网络限制: 不能随意pip install,但预装包很全

如果你需要安装额外的包,可以用这个骚操作:

!pip install some-package --quiet

但说实话,Kaggle预装了300多个常用包,90%的情况你不需要额外安装。

我的经验: 在Kaggle上做实验,最好先把数据缓存到本地。我遇到过好几次网络波动导致训练到一半断掉,那个心情啊...后来学乖了,先 !cp 到临时目录。

Google Colab:云端免费GPU利器

Colab是我最常用的快速验证平台。你想想看,打开浏览器,新建一个笔记本,直接就能用上Tesla T4或者V100,这体验简直不要太爽。

快速上手

Colab的使用极其简单:

  1. 打开 colab.research.google.com
  2. 登录Google账号
  3. 点击「新建笔记本」

但有几个关键配置你得知道:

# 启用GPU
# 菜单: 运行时 -> 更改运行时类型 -> 选择GPU

# 挂载Google Drive(我经常用)
from google.colab import drive
drive.mount('/content/drive')

# 查看GPU信息
!nvidia-smi
注意: Colab的免费版有12小时超时限制。我曾经跑一个BERT微调,跑到第11小时59分被掐了...后来我改用付费版Colab Pro,才解决了这个问题。

三平台对比:选哪个?

我经常被问到这个问题。其实没有绝对的好坏,关键看场景。我画了一张图帮你理解:

三大实验平台选择指南 Jupyter Lab 本地开发首选 ✅ 完全离线可用 ✅ 插件生态丰富 ✅ 数据安全可控 ❌ 依赖本地硬件 ❌ 环境配置繁琐 适合:日常开发、调试 适合:敏感数据处理 Kaggle 竞赛与社区平台 ✅ 免费GPU(30h/周) ✅ 海量数据集 ✅ 社区交流活跃 ❌ 网络受限 ❌ 输出大小限制 适合:比赛、学习 适合:快速原型验证 Google Colab 云端快速验证 ✅ 免费T4/V100 GPU ✅ 与Drive无缝集成 ✅ 零配置启动 ❌ 12小时超时 ❌ 内存有限(~12GB) 适合:快速实验 适合:教学演示 我的建议:本地用Jupyter Lab开发,云端用Colab验证,比赛用Kaggle冲刺

我的工作流建议

说了这么多,我分享一下我现在的工作流:

  • 日常开发: 本地Jupyter Lab + VSCode配合使用。Jupyter负责探索性分析,VSCode负责写正式代码
  • 快速验证: Colab走起。特别是要试一个新模型,直接云端开搞,不用污染本地环境
  • 参加比赛: Kaggle。数据集和提交都在上面,省去数据搬运的麻烦
核心原则: 别在一个平台上死磕。我见过有人非要在本地跑一个需要24GB显存的模型,结果折腾了两天环境。其实换个思路,用Colab Pro几分钟就搞定了。

好了,环境搭建这部分就聊到这儿。工具是死的,人是活的。选最适合你当前任务的平台,别为了用工具而用工具。记住,我们的目标是做实验、出结果,不是当运维工程师。


专注资料整理