你想想看，这个规则其实很符合直觉。词数少意味着切分更合理，单字词少意味着歧义更少。我当年在优化电商搜索时，就用双向匹配把「苹果手机壳」的切分准确率从82%提到了96%。

四、算法对比与选型建议

这三种算法，说白了就是「简单、更简单、最简单」的递进关系。但别小看它们，在工业界，尤其是搜索引擎的第一层粗分阶段，它们依然是主力。

我个人的选型建议：

• 正向最大匹配：适合短文本、专有名词多的场景（比如人名识别）
• 逆向最大匹配：适合长文本、偏正结构多的场景（比如新闻标题）
• 双向最大匹配：适合通用场景，尤其是对准确率要求高的核心链路

五、代码实现（Python示例）

光说不练假把式。下面是我常用的一个简化版实现，你可以直接拿去改：

class MaxMatchTokenizer:
    def __init__(self, dictionary, max_len=5):
        self.dict = set(dictionary)
        self.max_len = max_len
    
    def forward_match(self, text):
        result = []
        i = 0
        while i < len(text):
            for j in range(min(self.max_len, len(text)-i), 0, -1):
                word = text[i:i+j]
                if word in self.dict or j == 1:
                    result.append(word)
                    i += j
                    break
        return result
    
    def backward_match(self, text):
        result = []
        i = len(text)
        while i > 0:
            for j in range(min(self.max_len, i), 0, -1):
                word = text[i-j:i]
                if word in self.dict or j == 1:
                    result.insert(0, word)
                    i -= j
                    break
        return result
    
    def bidirectional_match(self, text):
        fwd = self.forward_match(text)
        bwd = self.backward_match(text)
        if fwd == bwd:
            return fwd
        # 选词数少的
        if len(fwd) != len(bwd):
            return fwd if len(fwd) < len(bwd) else bwd
        # 选单字词少的
        fwd_single = sum(1 for w in fwd if len(w) == 1)
        bwd_single = sum(1 for w in bwd if len(w) == 1)
        return fwd if fwd_single < bwd_single else bwd

六、总结

这三种算法，说白了就是「从左到右、从右到左、两边都来」。它们没有深度学习那么高大上，但胜在可解释性强、部署成本低。我做了这么多年搜索，遇到的大部分分词问题，其实用双向匹配加一个不错的词典就能解决。

最后说一句：别迷信算法。再好的分词器，也架不住词典质量差。我见过太多团队花三个月调算法，却不愿意花三天整理词典——这是典型的「捡芝麻丢西瓜」。

下一章咱们聊聊词典的构建与优化，那才是真正的「地基活」。