从实验数据到AI模型:完整链路实战

📚 共计 30 章节
第1章
课程导论与数据科学全景
什么是AI模型?从实验数据到模型的完整流程概览,数据科学家的工具箱。
全景入门
第2章
实验设计原则
如何设计可重复、可分析的实验?控制变量法、随机化、样本量估算。
实验统计
第3章
数据采集与传感器
常见数据采集方式(API、传感器、爬虫),数据采集的伦理与法律问题。
采集伦理
第4章
数据清洗基础
处理缺失值、重复值、异常值,数据一致性检查。
清洗预处理
第5章
数据探索性分析(EDA)
描述性统计、数据分布可视化、相关性矩阵。
EDA可视化
第6章
特征工程入门
特征提取、特征选择、特征缩放(标准化与归一化)。
特征缩放
第7章
数据可视化基础
Matplotlib与Seaborn入门,绘制折线图、柱状图、散点图。
MatplotlibSeaborn
第8章
数据划分
训练集、验证集、测试集的划分策略,交叉验证概念。
划分交叉验证
第9章
线性回归模型
原理、数学推导、Python实现(sklearn),模型评估(MSE、R²)。
回归sklearn
第10章
逻辑回归与分类
二分类问题,Sigmoid函数,混淆矩阵、精确率、召回率。
分类混淆矩阵
第11章
决策树与随机森林
树模型原理,信息增益与基尼系数,集成学习思想。
树模型集成
第12章
支持向量机(SVM)
最大间隔分类器,核技巧,SVM实战。
SVM核函数
第13章
K近邻算法(KNN)
惰性学习,距离度量,K值选择。
KNN距离
第14章
K-Means聚类
无监督学习入门,肘部法则,聚类可视化。
聚类无监督
第15章
主成分分析(PCA)
降维技术,方差解释率,PCA实战。
降维PCA
第16章
模型评估与调参
过拟合与欠拟合,学习曲线,网格搜索与随机搜索。
调参过拟合
第17章
正则化技术
L1(Lasso)、L2(Ridge)正则化,弹性网络。
LassoRidge
第18章
神经网络入门
感知机、多层感知机、激活函数(ReLU、Sigmoid、Tanh)。
神经网络激活函数
第19章
深度学习框架(PyTorch/TensorFlow)
张量、自动求导、构建简单网络。
PyTorchTensorFlow
第20章
卷积神经网络(CNN)
卷积层、池化层、全连接层,图像分类实战。
CNN图像
第21章
循环神经网络(RNN)与LSTM
序列数据处理,文本生成或时间序列预测。
RNNLSTM
第22章
自然语言处理(NLP)基础
词袋模型、TF-IDF、词嵌入(Word2Vec)。
NLP词嵌入
第23章
模型部署基础
模型序列化(Pickle/ONNX),Flask API搭建。
部署Flask
第24章
云端部署与MLOps
使用AWS/GCP/Azure部署模型,CI/CD流水线概念。
云部署MLOps
第25章
模型监控与维护
数据漂移、概念漂移,模型重训练策略。
监控漂移
第26章
A/B测试与实验评估
假设检验,统计显著性,实验设计在模型评估中的应用。
A/B测试假设检验
第27章
可解释性AI(XAI)
SHAP、LIME,特征重要性分析。
XAISHAP
第28章
数据隐私与安全
差分隐私、联邦学习、数据脱敏。
隐私联邦学习
第29章
完整项目实战(上)
从原始数据到基线模型,端到端流程。
实战基线
第30章
完整项目实战(下)
模型优化、部署、监控与迭代,课程总结与未来方向。
优化总结