1. NLP与文本摘要概述
大家好，我是这门课的主讲。今天咱们聊聊NLP和文本摘要。
说实话，我刚开始接触这个领域时，也觉得挺玄乎的。机器怎么能理解人话？还能自动总结？
后来做项目多了，发现其实没那么神秘。说白了，就是让计算机学会「读文章、抓重点」。
什么是自然语言处理
自然语言处理，英文叫Natural Language Processing，简称NLP。
它研究的是：计算机怎么理解、生成人类语言。
举个例子，你对着Siri说「明天天气怎么样」，它能听懂并回答你。这就是NLP在背后工作。
核心任务包括：
- 分词、词性标注
- 命名实体识别（人名、地名、时间）
- 句法分析、语义理解
- 文本分类、情感分析
- 机器翻译、对话系统
- 文本摘要 —— 也就是咱们这门课的重点
我个人习惯把NLP比作「教计算机读中文」。你想想看，我们人类学语文要花多少年？计算机也得一步步来。
文本摘要的定义
文本摘要，就是给一篇文章，让机器自动生成一段简短的总结。
嗯，这里要注意：不是随便截取几句话，而是要保留核心信息。
一个好的摘要应该满足：
- 信息完整：关键点不能丢
- 语言通顺：读起来像人写的
- 长度可控：不能太长，也不能太短
- 忠于原文：不能自己编造事实
我的经验： 做摘要项目时，最怕的就是模型「自由发挥」。我曾经遇到一个模型，把「苹果公司发布新手机」总结成「水果店上新了」—— 这就不对了。
抽取式 vs 生成式
文本摘要主要分两类。咱们得搞清楚它们的区别。
| 对比维度 | 抽取式 | 生成式 |
|---|---|---|
| 原理 | 从原文中挑出重要句子 | 理解后重新组织语言 |
| 输出 | 原文中的句子组合 | 全新的句子 |
| 优点 | 不会出错，忠实原文 | 更灵活，像人写的 |
| 缺点 | 可能不连贯，有冗余 | 可能编造信息 |
| 典型方法 | TextRank、BertSum | BART、T5、GPT系列 |
抽取式，说白了就是「摘抄」。模型判断哪些句子重要，然后拼在一起。
我在项目中遇到过，抽取式做新闻摘要效果不错。因为新闻本身就有「倒金字塔结构」，重要信息都在前面。
生成式，更像是「重写」。模型读完文章，用自己的话总结。
你想想看，这难度就大多了。模型得先理解，再表达。我建议初学者先从抽取式入手，容易上手。
避坑指南： 我曾经在做一个金融报告摘要项目时，直接用了生成式模型。结果模型把「亏损500万」总结成「盈利500万」—— 这要是上线了，后果不堪设想。
所以，金融、医疗等敏感领域，建议用抽取式或者人工审核。
应用场景
文本摘要不是实验室里的玩具。它在工业界有大量应用。
新闻聚合
今日头条、Google News这类产品，每天处理海量新闻。用户没时间全看完，摘要就派上用场了。
我记得有个项目，需要把10篇关于同一事件的报道，合并成一篇摘要。这叫做「多文档摘要」，比单文档难不少。
报告生成
很多公司每周都要写周报、月报。数据有了，但写总结很费时间。
用文本摘要技术，可以自动从数据中提取关键信息，生成报告摘要。我见过一个团队，用这个技术把写报告的时间从2小时缩短到10分钟。
舆情监控
品牌方需要关注网上对自己的评价。每天成千上万条评论，人工看不过来。
文本摘要可以自动总结：今天大家都在讨论什么？正面评价多还是负面评价多？
实际案例： 我曾经帮一家电商公司做客服对话摘要。每天几万条客服记录，人工总结太慢。我们用抽取式模型，自动提取「用户问题」和「解决方案」，准确率做到了85%以上。
为什么学文本摘要
说实话，文本摘要是NLP里「投入产出比」很高的方向。
它不像机器翻译那么难，也不像对话系统那么复杂。但应用场景非常广。
你想想看，任何需要「从大量信息中提取重点」的场景，都能用上它。
学习建议： 我建议你先从抽取式学起。用TextRank做个新闻摘要demo，感受一下。然后再挑战生成式模型。
别一上来就搞大模型，容易打击信心。
好了，这一章咱们把基础概念过了一遍。下一章，我会带大家动手写一个简单的抽取式摘要系统。
到时候，你会看到代码是怎么跑起来的。