新闻文本特征工程实战

📚 共计 30 章节

新闻文本特征工程概述

什么是特征工程 · 为什么新闻文本需要特征工程 · 特征工程在NLP中的位置

文本数据采集与清洗

新闻API调用 · 网页爬虫基础 · 数据去重与清洗策略

爬虫预处理

中文分词技术

jieba分词详解 · 分词模式选择 · 自定义词典与停用词

词性标注与命名实体识别

词性标注原理 · 人名/地名/机构名识别 · 实战案例

TF-IDF特征提取

TF-IDF原理 · sklearn实现 · 新闻关键词提取实战

TF-IDF关键词

词袋模型与N-gram

CountVectorizer详解 · N-gram特征构建 · 优缺点分析

Word2Vec词向量

CBOW与Skip-gram · Gensim训练词向量 · 词向量可视化

Doc2Vec文档向量

段落向量原理 · 模型训练 · 新闻相似度计算

Doc2Vec相似度

BERT预训练模型特征

HuggingFace Transformers · BERT嵌入提取 · 下游任务适配

文本统计特征

文本长度 · 句子数 · 标点密度 · 词汇丰富度等

情感特征提取

基于词典的情感分析 · 情感得分计算 · 情感极性分类

主题模型LDA

LDA原理 · Gensim实现 · 新闻主题聚类

文本聚类特征

K-means文本聚类 · 轮廓系数评估 · 聚类结果分析

文本分类特征

朴素贝叶斯 · SVM · 逻辑回归的特征工程

特征选择方法

方差选择 · 卡方检验 · 互信息 · 基于模型的选择

PCA主成分分析 · SVD奇异值分解 · t-SNE可视化

特征缩放与归一化

Min-Max归一化 · Z-score标准化 · 鲁棒缩放

归一化缩放

时间特征提取

新闻发布时间解析 · 时间窗口特征 · 周期性特征

实体关系特征

共现矩阵 · 关联规则 · 实体关系抽取

关键词提取进阶

TextRank算法 · RAKE算法 · 关键短语提取

文本摘要特征

抽取式摘要 · 生成式摘要 · 摘要质量评估

文本相似度特征

余弦相似度 · Jaccard相似度 · 编辑距离

相似度距离

新闻标题特征

标题长度 · 标题情感 · 标题关键词密度

新闻来源特征

媒体权威性评分 · 来源分类 · 来源地域特征

新闻热度特征

阅读量 · 转发量 · 评论数 · 热度衰减模型

多模态特征融合

图文特征 · 视频描述文本 · 多模态对齐

多模态融合

特征存储与管理

特征存储格式 · 特征平台搭建 · 特征版本控制

特征工程自动化

AutoFE工具 · 特征生成 · 特征评估流水线

自动化AutoFE

大规模特征工程

Spark处理 · 分布式特征计算 · 性能优化

综合实战：新闻推荐系统

特征工程全流程 · 特征重要性分析 · 模型上线