第2章中文分词技术

2、中文分词技术：从原理到实战

分词，说白了就是把一句话切成一个个有意义的词。英文天然有空格分隔，中文可没这好事。「武汉市长江大桥」到底是「武汉/市长/江大桥」还是「武汉市/长江大桥」？嗯，这就是分词要解决的问题。

我刚开始做搜索那会儿，就栽在分词上。用户搜「苹果手机」，结果因为分词不对，把「苹果」和「手机」拆开了，召回了一堆水果和通讯设备。后来我才明白——分词是搜索的基石，地基不稳，上层建筑全白搭。

分词的核心，就是让计算机在连续的中文字符串中找到词的边界。听起来简单，做起来难。中文里词和词之间没有空格，而且歧义无处不在。

举个例子：「他说的确实在理」。这句话可以切分成：

哪种对？得看上下文。分词算法要解决的，就是这类问题。

目前主流的分词方法分两大类：基于词典和基于统计。实际项目中，我习惯把两者结合起来用，效果最好。

基于词典的分词，思路很直白——准备一个词库，然后拿着文本去匹配。匹配方式主要有三种：

我记得有个项目，用户搜「北京大学生」，正向匹配会切成「北京大学/生」，逆向匹配会切成「北京/大学生」。哪个对？得看用户想找学校还是找学生。这时候双向匹配就能给出两种结果，让后续的语义分析去判断。

我的经验：词典分词的关键在词库质量。我一般会用基础词库（比如搜狗词库）+ 领域词库（比如医疗、法律）+ 用户搜索日志中的高频词。三管齐下，覆盖率能到90%以上。

词典分词有个硬伤——遇到新词就歇菜。比如「给力」「凡尔赛」这种网络新词，词典里没有，就切不出来了。

统计分词就不一样了。它不看词典，看概率。核心思想是：如果几个字经常一起出现，那它们很可能是一个词。

常用的统计模型有：

为什么会用统计方法？你想想看，用户搜「新冠疫苗」，如果词典里只有「新冠」和「疫苗」，那没问题。但如果用户搜「新冠疫苗接种」，统计模型能自动识别出「新冠疫苗」是一个整体，因为「新冠」和「疫苗」在语料中频繁共现。

注意：统计分词需要大量标注语料。我曾经在一个小语种项目上吃过亏——语料不够，模型训练出来效果还不如简单的词典分词。所以，数据量不够的时候，别盲目上统计方法。

说到分词工具，Jieba（结巴分词）是Python生态里最常用的。它把词典分词和统计分词结合起来了，用起来特别顺手。

安装很简单：

pip install jieba

基本用法：

import jieba

text = "我在武汉大学学习计算机科学"
words = jieba.lcut(text)
print(words)
# 输出：['我', '在', '武汉大学', '学习', '计算机科学']

Jieba支持三种模式：

我一般这么用：

# 精确模式
words = jieba.lcut(text)

# 搜索引擎模式
words = jieba.lcut_for_search(text)

搜索引擎模式有个好处——它会把「武汉大学」同时切出「武汉」和「大学」，这样用户搜「武汉」或「大学」都能召回这条结果。召回率一下子就上去了。

避坑指南：Jieba默认词库是通用的，但如果你做垂直领域（比如医疗、法律），一定要加载自定义词典。我曾经做过一个法律搜索项目，不加自定义词典的话，「犯罪嫌疑人」会被切成「犯罪/嫌疑/人」，语义全变了。

加载自定义词典的方法：

jieba.load_userdict("mydict.txt")

词典格式很简单，每行一个词：

犯罪嫌疑人 5 n
搜索引擎优化 3 n

数字是词频，字母是词性。词频越高，Jieba越倾向于把它当作一个整体。

分词在搜索里到底怎么用？我总结了几点：

我记得有个电商项目，用户搜「电饭煲」，结果分词把「电饭煲」切成了「电饭」和「煲」，导致召回了一堆「电饭锅」和「砂煲」。后来我强制把「电饭煲」加入自定义词典，问题就解决了。

  核心要点：分词不是越细越好，也不是越粗越好。搜索场景下，召回率和准确率的平衡才是关键。搜索引擎模式通常是最优选择——既能保证精确匹配，又能通过细粒度切分提高召回。

好了，分词这块就聊到这儿。下一章我们讲同义词，到时候你会看到，分词和同义词其实是密不可分的——分词分得准，同义词才能用得对。