📘 概率编程 · 贝叶斯推断

🎓 TensorFlow Probability 实战 🧠
01概率编程与贝叶斯推断导论
  • 什么是概率编程
  • 贝叶斯定理回顾
  • 频率学派 vs 贝叶斯学派
  • TensorFlow Probability 生态介绍
02TensorFlow Probability 基础
  • 安装与配置
  • TFP 核心组件概览
  • 张量与分布的基本操作
03概率分布(上)
  • 离散分布 (Bernoulli, Categorical, Poisson)
  • 连续分布 (Normal, Beta, Gamma, Exponential)
  • 分布属性与方法 (log_prob, sample, cdf)
04概率分布(下)
  • 多元分布 (MultivariateNormalDiag, Dirichlet, Wishart)
  • 分布变换与 Bijectors 基础
  • 自定义分布
05贝叶斯线性回归
  • 模型构建(先验、似然、后验)
  • 使用 MCMC 进行后验采样
  • 预测与不确定性量化
06马尔可夫链蒙特卡洛(MCMC)基础
  • Metropolis-Hastings 算法
  • 随机游走采样
  • 收敛诊断 (trace plot, autocorrelation)
07哈密顿蒙特卡洛(HMC)
  • HMC 原理(势能、动能、Leapfrog)
  • TFP 中的 HMC 实现
  • 调参技巧(步长、轨迹长度)
08NUTS 采样器
  • No-U-Turn Sampler 原理
  • 与 HMC 的对比
  • TFP 中的 NUTS 实现
  • 实际应用案例
09变分推断(VI)基础
  • ELBO 推导
  • 平均场变分族
  • TFP 中的 VI 实现 (tfp.vi)
  • 与 MCMC 的对比
10变分自编码器(VAE)与 TFP
  • 概率编码器与解码器
  • 使用 TFP 构建 VAE
  • 重参数化技巧
  • 生成样本
11贝叶斯神经网络
  • 权重不确定性
  • 先验与似然设定
  • 使用 TFP 构建 BNN
  • MCMC 与 VI 在 BNN 中的应用
12高斯过程(GP)与 TFP
  • GP 先验
  • 核函数选择
  • TFP 中的 GP 实现 (tfp.math.psd_kernels)
  • GP 回归与超参数优化
13贝叶斯时间序列分析
  • 状态空间模型
  • 动态线性模型
  • 使用 TFP 进行时间序列预测
  • 季节性分解
14贝叶斯非参数模型
  • 狄利克雷过程(DP)
  • 中国餐馆过程
  • TFP 中的 DP 实现
  • 混合模型应用
15概率编程实战:贝叶斯 A/B 测试
  • Beta-Bernoulli 模型
  • 后验概率计算
  • 决策规则(Expected Loss)
16概率编程实战:贝叶斯分层模型
  • 部分池化与完全池化
  • TFP 中的分层模型实现
  • 案例分析(学校考试成绩)
17概率编程实战:贝叶斯生存分析
  • Weibull 模型
  • Cox 比例风险模型
  • TFP 中的生存分析实现
18概率编程实战:贝叶斯推荐系统
  • 矩阵分解的概率解释
  • 使用 TFP 构建概率矩阵分解
  • 冷启动问题
19概率编程实战:贝叶斯异常检测
  • 混合模型方法
  • 极值理论
  • TFP 中的异常检测实现
20概率编程实战:贝叶斯优化
  • 高斯过程代理模型
  • 采集函数(EI, UCB)
  • TFP 中的贝叶斯优化实现
21TFP 与 TensorFlow 集成
  • 在 Keras 中使用 TFP 分布
  • 自定义损失函数(负对数似然)
  • 与 TF Datasets 结合
22TFP 与 JAX 集成
  • JAX 基础回顾
  • TFP 的 JAX 后端
  • 性能对比与优势
23高级 MCMC 技术
  • 并行链
  • 自适应步长
  • 回火采样
  • TFP 中的高级 MCMC 工具
24高级变分推断
  • 法向流(Normalizing Flows)
  • 自回归流(MAF, IAF)
  • TFP 中的流实现
25贝叶斯模型比较
  • WAIC
  • LOO-CV
  • 贝叶斯因子
  • TFP 中的模型比较工具
26概率编程中的可解释性
  • 后验可视化
  • 敏感性分析
  • Shapley 值的贝叶斯扩展
27大规模贝叶斯推断
  • 随机梯度 MCMC
  • 小批量 VI
  • 分布式采样策略
28贝叶斯因果推断
  • 潜在结果框架
  • 倾向性得分
  • 贝叶斯结构学习
29概率编程前沿
  • 概率编程语言对比 (Pyro, Stan, TFP)
  • TFP 2.x 新特性
  • 社区与资源
30综合项目:端到端贝叶斯分析管道
  • 问题定义、数据预处理
  • 模型选择、推断
  • 验证、部署与监控