什么是AB测试
为什么需要AB测试
核心价值与局限
假设检验基础
P值与显著性
第一/二类错误
统计功效
离线指标 AUC/NDCG
在线指标 CTR/CVR
留存率对应
平台整体设计
分流服务
数据采集管道
实时监控看板
Hash分流算法
一致性哈希
盐值策略
用户/设备ID
Bonferroni校正
FDR控制
Tukey HSD
业务取舍
样本比例不均衡
SRM检测方法
Chi-Square检验
修复策略
多臂老虎机
Epsilon-Greedy
Thompson Sampling
与AB测试对比
自动生成报告
置信区间可视化
效果对比图表
决策建议
Go/No-Go决策
效果大小评估
成本收益分析
灰度发布策略
北极星指标
辅助指标选择
指标权重分配
综合打分卡
CTR模型对比
CVR模型对比
多目标排序
模型版本管理
因果推断应用
离线策略评估
自动化实验
联邦学习与隐私