01
课程导论与AI筛选基础
什么是AI辅助材料筛选?为什么需要AI验证?课程目标与学习路径。
导论认知
02
材料数据预处理实战
数据清洗、去重、格式标准化,使用Pandas进行数据探索。
Pandas清洗
03
关键词提取与语义理解
基于TF-IDF和TextRank的关键词提取,理解语义相似度。
TF-IDFTextRank
04
基于规则的初筛引擎构建
编写正则表达式与业务规则,实现第一道筛选关卡。
正则规则引擎
05
机器学习分类器入门
使用Scikit-learn构建朴素贝叶斯分类器,对材料进行自动分类。
Scikit-learn贝叶斯
06
模型训练与评估实战
数据集划分、交叉验证、混淆矩阵与F1-score。
评估交叉验证
07
深度学习模型选型
CNN、RNN、Transformer在文本分类中的对比与选择。
CNNTransformer
08
使用预训练模型进行语义匹配
BERT模型微调,实现材料与需求的精准匹配。
BERT微调
09
构建材料相似度计算引擎
余弦相似度、欧氏距离、Jaccard相似度的应用。
相似度距离
10
验证逻辑与规则引擎设计
设计可配置的验证规则,处理“与或非”逻辑。
规则引擎逻辑
11
AI验证中的异常检测
使用孤立森林和LOF算法识别异常材料。
异常检测孤立森林
12
多源数据融合与对齐
处理来自不同格式(PDF、Word、Excel)的材料数据。
多源格式转换
13
构建端到端筛选流水线
将预处理、筛选、验证串联成自动化Pipeline。
Pipeline自动化
14
API服务化与接口设计
使用FastAPI封装筛选模型,提供RESTful接口。
FastAPIREST
15
前端交互界面开发
使用Streamlit快速搭建材料上传与结果展示界面。
Streamlit前端
16
数据库存储与版本管理
使用SQLite/PostgreSQL存储筛选结果,记录版本历史。
SQLite版本
17
大规模数据处理与优化
使用Dask或Spark进行分布式数据处理。
DaskSpark
18
模型可解释性
使用SHAP和LIME解释模型筛选决策的原因。
SHAPLIME
19
对抗样本与鲁棒性测试
测试模型在恶意篡改材料下的表现。
对抗鲁棒性
20
持续学习与模型更新
设计增量学习策略,让模型适应新类型材料。
增量学习更新
21
项目实战:简历筛选系统(上)
需求分析、数据准备与特征工程。
简历特征工程
22
项目实战:简历筛选系统(中)
模型训练、验证与调优。
调优验证
23
项目实战:简历筛选系统(下)
系统集成、测试与部署。
部署集成
24
项目实战:合同条款验证系统
关键条款提取与合规性检查。
合同合规
25
项目实战:学术论文查重与质量评估
查重算法与质量评估体系。
查重论文
26
性能监控与日志分析
使用Prometheus和Grafana监控筛选系统性能。
监控Prometheus
27
安全与隐私保护
数据脱敏、差分隐私在材料筛选中的应用。
隐私脱敏
28
A/B测试与效果评估
如何科学评估AI筛选相比人工筛选的提升。
A/B测试评估
29
行业案例深度解析
金融、医疗、法律领域的AI材料筛选实践。
金融医疗法律
30
课程总结与未来展望
AI筛选的局限性、伦理问题与前沿趋势。
总结伦理