4、自然语言处理（NLP）选型：从文本分类到对话系统，如何选模型？

NLP 这块，说实话，是 AI 产品经理最常碰到的领域之一。从简单的文本分类，到复杂的对话系统，模型选型的天差地别。我见过不少团队，一上来就上大模型，结果成本高、响应慢，最后发现一个简单的 BERT 就能搞定。所以，怎么选？咱们得按场景来拆。

4.1 先搞清楚你的任务类型

我个人习惯，拿到需求后先问三个问题：

  • 任务复杂度：是简单的分类、匹配，还是需要生成、推理？
  • 数据规模：标注数据有多少？几百条还是几百万条？
  • 实时性要求：用户能等 200ms，还是可以接受 2s？

你想想看，这三个问题直接决定了你是用传统机器学习，还是用预训练模型，或者直接上大语言模型。

核心原则：能用简单模型解决的，绝不用复杂模型。能用规则解决的，甚至不用模型。

4.2 文本分类：从 FastText 到 BERT

文本分类是 NLP 最基础的任务。我在项目中遇到过，很多 PM 一上来就说“用深度学习”，其实没必要。

4.2.1 传统方法：FastText / TextCNN

如果你的数据量不大（比如几千条），或者对实时性要求极高（比如毫秒级），FastText 是首选。它本质上是一个线性分类器加 n-gram 特征，训练速度极快。

# 伪代码示例：FastText 训练
from fasttext import train_supervised

model = train_supervised(
    input="train.txt",
    lr=1.0,
    epoch=25,
    wordNgrams=2,
    verbose=2
)
# 预测
model.predict("这个产品很好用")

TextCNN 稍微复杂一点，但效果通常更好。我记得有一次做垃圾评论过滤，用 FastText 准确率只有 85%，换成 TextCNN 直接到了 92%。

4.2.2 预训练模型：BERT / RoBERTa

当数据量足够（比如 10 万条以上），或者任务语义复杂（比如情感分析中的讽刺识别），就该上 BERT 了。BERT 的优势在于它能理解上下文。

避坑指南：我曾经在金融领域做文本分类，直接用 BERT-base 效果很差。后来发现是因为金融术语和通用语料差异太大。解决方案是：先用金融语料做领域预训练（Domain-adaptive pretraining），再微调。效果提升了 5 个点。

4.3 序列标注：命名实体识别（NER）

NER 是信息抽取的基础。选型时主要看实体类型是否复杂。

  • 简单实体（人名、地名）：BiLSTM-CRF 就够用。
  • 嵌套实体（比如“北京大学”中的“北京”）：需要 BERT + 指针网络。
  • 开放域实体：直接上大模型做 Few-shot 抽取。

说白了，如果你的实体类型是固定的 10 种以内，用 BiLSTM-CRF 性价比最高。我做过一个医疗 NER 项目，用 BERT 反而过拟合了，因为标注数据只有 2000 条。

4.4 文本匹配：从 Siamese 到 Cross-Encoder

文本匹配常用于搜索、问答、去重。这里有个经典的分层策略：

阶段 模型 特点
召回 双塔模型（DSSM / Sentence-BERT） 速度快，可离线计算向量
精排 Cross-Encoder（BERT） 准确率高，但速度慢

嗯，这里要注意：双塔模型虽然快，但它的上限受限于向量交互方式。我建议在召回阶段用双塔，精排阶段用 Cross-Encoder。这样既保证了速度，又保证了精度。

4.5 文本生成：从 GPT 到 T5

生成任务是最复杂的。选型时主要看生成内容的长度和可控性。

  • 短文本生成（标题、摘要）：T5 或 BART 效果不错。
  • 长文本生成（文章、报告）：GPT 系列是主流。
  • 对话生成：需要结合对话状态跟踪（DST）。

注意：生成模型容易出现幻觉。我曾经做一个客服对话系统，模型经常自己编造产品信息。解决方案是：在生成后加一个事实校验模块，用 NER + 知识图谱做约束。

4.6 对话系统：任务型 vs 开放域

对话系统是 NLP 的集大成者。选型前先分清类型：

4.6.1 任务型对话

这种系统有明确的目标，比如订票、查天气。架构通常是：

  1. NLU（意图识别 + 实体抽取）：用 BERT 微调。
  2. DST（对话状态跟踪）：用指针网络或分类模型。
  3. Policy（对话策略）：用强化学习或规则。
  4. NLG（自然语言生成）：用模板或小模型。

我个人习惯，在 NLU 阶段用 BERT 做意图识别，准确率能到 95% 以上。DST 阶段，如果槽位不多（比如 5 个以内），用规则比用模型更稳定。

4.6.2 开放域对话

这种系统没有明确目标，就是闲聊。现在主流方案是直接用大语言模型（如 GPT-4、LLaMA）。但要注意：

  • 成本：每次对话都调用大模型，成本很高。
  • 安全性：大模型可能生成不当内容。
  • 可控性：很难控制对话的走向。

我的建议：对于商业产品，优先用任务型对话。开放域对话更适合做虚拟人、游戏 NPC 等场景。

4.7 选型决策树

最后，我总结一个简单的决策树，方便你快速选型：

  1. 任务类型：分类/匹配 → 看数据量；生成/对话 → 看复杂度。
  2. 数据量：小于 1 万条 → 传统方法（FastText / SVM）；大于 1 万条 → 预训练模型（BERT / GPT）。
  3. 实时性：要求毫秒级 → 双塔模型或小模型；可以接受秒级 → Cross-Encoder 或大模型。
  4. 成本预算：有限 → 用开源模型（BERT-base / LLaMA）；充足 → 用商业 API（GPT-4 / 文心一言）。

你想想看，其实 NLP 选型没那么玄乎。核心就是：在效果、速度、成本之间找到平衡点。我见过太多团队，一上来就上最贵的模型，结果效果没提升多少，成本却翻了好几倍。嗯，记住这一点，你就能少走很多弯路。

← 上一章 📖 返回目录 下一章 →