词袋模型与TF-IDF：文本向量化基础
大家好，我是你们的老朋友。今天我们来聊聊文本向量化这个基础话题。
说实话，我刚入行那会儿，最头疼的就是怎么把文字变成数字。你想想看，计算机只认0和1，但我们的文章、评论、聊天记录全是文字。怎么让机器理解？这就是文本向量化要解决的问题。
为什么需要文本向量化？
我举个例子。假设你要做一个垃圾邮件分类器。邮件内容是“恭喜您中奖了”，另一封是“明天开会记得带材料”。人一眼就能看出区别，但机器不行。机器需要数字。
文本向量化，说白了就是把每个文本变成一个数学向量。这样就能计算相似度、做分类、聚类。我做过一个项目，客户要求对10万条用户评论做情感分析。没有向量化，后面所有算法都跑不起来。
核心思想：文本向量化是将非结构化的文本数据转换为结构化数值向量的过程。这是NLP任务的基石。
词袋模型原理
词袋模型（Bag of Words，简称BoW）是最简单的文本向量化方法。名字很形象——把文本里的词都扔进一个袋子里，不管顺序，只管数量。
词袋模型的工作流程
- 构建词表：收集所有文档中出现的不重复词语
- 统计词频：对每个文档，统计词表中每个词出现的次数
- 生成向量：每个文档对应一个长度为词表大小的向量
举个例子。有两句话：
- 文档1：“我喜欢猫，也喜欢狗”
- 文档2：“狗喜欢猫，猫喜欢鱼”
词表就是：{我, 喜欢, 猫, 也, 狗, 鱼}，共6个词。
文档1的向量：[1, 2, 1, 1, 1, 0]
文档2的向量：[0, 2, 2, 0, 1, 1]
我的经验：词袋模型虽然简单，但在很多场景下够用。我曾经用它做新闻分类，准确率能达到85%以上。当然，前提是数据质量要好。
词袋模型的优缺点
| 优点 | 缺点 |
|---|---|
| 实现简单，计算快 | 丢失词序信息 |
| 易于理解 | 高维稀疏问题 |
| 对短文本效果不错 | 无法处理语义相似性 |
嗯，这里要注意。词袋模型最大的问题就是“稀疏”。如果词表有10万个词，每个文档的向量里大部分位置都是0。这会导致计算效率低下，模型也容易过拟合。
TF-IDF算法详解
TF-IDF（Term Frequency-Inverse Document Frequency）是对词袋模型的改进。它不光看词在文档里出现多少次，还看这个词在整个语料库里的分布情况。
TF-IDF的核心思想
说白了就是：一个词在某个文档里出现很多次，但在其他文档里很少出现，那这个词对这个文档就很重要。
举个例子。“深度学习”在AI论文里出现很多次，但在菜谱里几乎不出现。那“深度学习”这个词对AI论文的区分度就很高。相反，“的”、“是”、“在”这些词到处都有，区分度就很低。
数学公式
TF-IDF由两部分组成：
- TF（词频）：词在文档中出现的次数 / 文档总词数
- IDF（逆文档频率）：log(总文档数 / 包含该词的文档数 + 1)
最终得分 = TF × IDF
关键点：IDF公式中的+1是为了防止分母为0。我刚开始写代码时忘了加这个，结果程序直接报除零错误。嗯，血的教训。
工程实现
我习惯用Python的scikit-learn库来实现TF-IDF。下面是一个完整的示例：
from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
# 示例文档
documents = [
"我喜欢机器学习和自然语言处理",
"深度学习是机器学习的一个分支",
"自然语言处理需要大量标注数据"
]
# 中文分词
def tokenize(text):
return ' '.join(jieba.cut(text))
# 预处理
processed_docs = [tokenize(doc) for doc in documents]
# 创建TF-IDF向量化器
vectorizer = TfidfVectorizer(
max_features=1000, # 最大特征数
min_df=1, # 最小文档频率
max_df=0.8, # 最大文档频率比例
ngram_range=(1, 2) # 考虑单个词和双词组合
)
# 拟合和转换
tfidf_matrix = vectorizer.fit_transform(processed_docs)
# 查看结果
print("特征词列表:", vectorizer.get_feature_names_out())
print("TF-IDF矩阵形状:", tfidf_matrix.shape)
print("第一个文档的TF-IDF向量:", tfidf_matrix[0].toarray())避坑指南：我曾经在项目中直接用原始文本跑TF-IDF，结果发现“的”、“了”这些停用词权重特别高。后来加了停用词过滤，效果明显提升。建议你一开始就做好预处理。
参数调优建议
| 参数 | 作用 | 我的建议 |
|---|---|---|
| max_features | 限制词表大小 | 根据数据量，一般5000-20000 |
| min_df | 过滤低频词 | 设为2-5，避免噪声 |
| max_df | 过滤高频词 | 0.7-0.9，去掉太通用的词 |
| ngram_range | 考虑词组 | (1,2)或(1,3)，效果通常更好 |
实际应用场景
我参与过一个新闻推荐系统。用户看了几篇文章后，我们用TF-IDF提取关键词，然后找相似文章推荐。效果比单纯用词袋模型好很多。
为什么会这样？因为TF-IDF能自动降低“的”、“是”这类词的权重，突出真正有意义的词。你想想看，如果两篇文章都包含“的”，这能说明它们相似吗？显然不能。
注意：TF-IDF不是万能的。对于短文本（比如一句话），TF-IDF的效果往往不如词袋模型。因为短文本里词频统计不稳定。我建议文本长度小于10个词时，直接用词袋模型。
总结
词袋模型和TF-IDF是文本向量化的两大基石。词袋模型简单直接，适合快速验证。TF-IDF更精细，能突出重要词汇。
我个人习惯是：先跑词袋模型看看基线效果，再上TF-IDF优化。如果数据量大，还可以考虑用哈希技巧（HashingVectorizer）来节省内存。
好了，这一章就到这里。下一章我们会聊Word2Vec和词嵌入，那又是另一个世界了。