3、DVC入门：DVC核心概念与实战操作

好，咱们正式开始聊DVC。说实话，我第一次接触DVC的时候，心里想的是：“又来一个工具？Git不香吗？”但后来在项目中吃了大亏——一个模型训练完，同事问我“你用的数据集是哪个版本”，我翻了半天聊天记录，最后发现连自己都记不清了。嗯，从那以后，我老老实实开始用DVC。

DVC全称是Data Version Control，说白了就是给数据做版本管理。它跟Git配合使用，但Git管代码，DVC管数据。你想想看，一个模型文件动不动几百MB，Git根本扛不住。DVC就是来解决这个问题的。

核心思想：DVC不直接存储数据文件本身，而是存储文件的哈希值和元数据。真正的数据文件放在缓存或远程存储中。这样，Git仓库里只保留轻量级的指针文件，数据文件则被“外挂”到其他地方。

3.1 DVC三大核心概念

咱们先捋清楚DVC的三个核心概念：数据文件、缓存、远程存储。这三个东西搞明白了，DVC就算入门了。

3.1.1 数据文件（Data Files）

数据文件就是你要版本管理的那些大文件。比如训练数据集、模型权重文件、预处理后的特征文件等等。在DVC里，这些文件会被“跟踪”，每次修改后都能记录版本。

我个人习惯把数据文件放在 data/ 目录下，这样结构清晰。比如：

project/
├── data/
│   ├── raw/          # 原始数据
│   ├── processed/    # 预处理后的数据
│   └── models/       # 训练好的模型
├── src/              # 代码
└── .dvc/             # DVC内部目录

3.1.2 缓存（Cache）

缓存是DVC的“本地仓库”。当你用 dvc add 跟踪一个文件时，DVC会把文件复制一份到缓存中。缓存默认在 .dvc/cache 目录下。这样做的好处是：如果你不小心删除了工作目录下的数据文件，可以从缓存里恢复。

我在项目中遇到过一个问题：同事把 .dvc/cache 目录也提交到了Git仓库，结果仓库瞬间膨胀到几个G。切记，.dvc/cache 一定要加到 .gitignore 里！

注意：缓存目录不要手动修改。DVC通过哈希值管理缓存文件，文件名是一串哈希码，你根本看不出哪个文件对应哪个数据。老老实实用DVC命令操作就好。

3.1.3 远程存储（Remote Storage）

远程存储就是数据文件的“云端仓库”。可以是S3、GCS、阿里云OSS，甚至是一台NAS服务器。团队协作时，大家把数据推送到远程存储，其他人拉取下来，就能保证数据一致。

我曾经踩过一个坑：远程存储配置了S3，但忘了设置访问权限，结果同事拉取数据时一直报403。嗯，从那以后我每次配置完远程存储，第一件事就是测试一下 dvc push 和 dvc pull。

3.2 初始化DVC仓库

初始化DVC仓库非常简单，跟Git初始化差不多。假设你已经有一个Git仓库了：

# 1. 进入项目目录
cd my-ml-project

# 2. 初始化Git仓库（如果还没做）
git init

# 3. 初始化DVC仓库
dvc init

执行 dvc init 后，DVC会在项目根目录下创建 .dvc/ 目录。这个目录里存放了DVC的配置文件和缓存。你可以看看 .dvc/config 文件，里面记录了远程存储等信息。

小技巧：初始化完成后，记得把 .dvc/cache 和 .dvc/tmp 加到 .gitignore 里。DVC初始化时其实已经帮你做了这一步，但最好检查一下。

初始化完成后，提交一下：

git add .dvc .gitignore
git commit -m "初始化DVC仓库"

3.3 添加和跟踪数据文件

现在咱们来实战一下。假设你有一个训练数据集 data/raw/train.csv，大概500MB。用DVC跟踪它：

# 跟踪数据文件
dvc add data/raw/train.csv

执行这条命令后，会发生三件事：

  1. DVC把 train.csv 复制到缓存中（.dvc/cache）
  2. DVC生成一个 train.csv.dvc 文件，里面记录了文件的哈希值和元数据
  3. DVC把 train.csv 添加到 .gitignore 中（防止Git跟踪这个大文件）

你可以看看生成的 train.csv.dvc 文件内容：

outs:
- md5: a1b2c3d4e5f6...  # 文件的哈希值
  size: 524288000        # 文件大小（字节）
  path: train.csv        # 文件路径

这个 .dvc 文件很小，可以正常提交到Git仓库。真正的数据文件在缓存里，或者后续推送到远程存储。

接下来，提交到Git：

git add data/raw/train.csv.dvc
git commit -m "添加训练数据集"

如果你想把数据推送到远程存储，先配置远程存储：

# 添加远程存储（以S3为例）
dvc remote add myremote s3://my-bucket/dvc-storage

# 推送数据
dvc push

其他同事拉取数据时：

# 拉取代码和.dvc文件
git pull

# 拉取数据文件
dvc pull

核心流程总结：

  • dvc add → 跟踪数据文件，生成 .dvc 文件
  • git add/commit → 提交 .dvc 文件到Git
  • dvc push → 推送数据到远程存储
  • dvc pull → 从远程存储拉取数据

3.4 知识体系图

下面这张图展示了DVC的核心工作流程。我建议你多看几遍，理解数据文件、缓存、远程存储三者之间的关系。

DVC核心工作流程 工作目录 data/raw/train.csv src/train.py .dvc/ dvc add 本地缓存 .dvc/cache/ 哈希值文件 数据副本 dvc push 远程存储 S3 / GCS / OSS NAS / 本地服务器 数据备份 Git仓库 train.csv.dvc 代码文件 git commit dvc checkout dvc pull 虚线表示数据恢复流程，实线表示数据提交流程

3.5 避坑指南

最后，分享几个我踩过的坑，希望能帮你少走弯路：

  • 不要用Git跟踪大文件：我曾经把 .dvc/cache 提交到了Git，结果仓库直接炸了。记住，DVC管数据，Git管代码，各司其职。
  • 远程存储权限要提前配好：有一次我配置了S3远程存储，但忘了设置IAM权限，同事拉取数据时一直报错。建议配置完远程存储后，立刻测试 dvc push 和 dvc pull。
  • 缓存目录不要手动修改：DVC的缓存文件是通过哈希值管理的，你根本看不出哪个文件对应哪个数据。老老实实用命令操作。
  • 团队协作时统一远程存储配置：建议把远程存储配置写到 .dvc/config 里，然后提交到Git。这样大家拉下来就能直接用。

好了，DVC的核心概念和基本操作就讲到这里。记住三个关键词：数据文件、缓存、远程存储。理解了它们的关系，DVC就算入门了。下一节咱们会深入聊聊DVC的版本切换和数据回滚，到时候见。

公众号:蓝海资料掘金营，微信deep3321

← 上一章 📖 返回目录 下一章 →