经济运行算法参数设置实战
📚 共计 30 章节
01
经济运行算法概述
算法定义、应用场景（电网调度、物流优化、金融风控）、核心参数概念
基础
全景
02
参数初始化策略
零初始化、随机初始化、Xavier、He，适用场景与对比
初始化
对比
03
学习率设置
固定/衰减(Step,Exponential,Cosine)、自适应(Adam,RMSprop)
学习率
调度
04
批量大小(Batch Size)调优
小批量 vs 大批量，收敛速度与稳定性，实践经验
Batch
调优
05
正则化参数
L1/L2、Dropout率、早停法，防止过拟合
正则化
防过拟合
06
损失函数选择
MSE、MAE、Huber Loss、交叉熵，经济任务选型
损失
回归/分类
07
优化器对比
SGD、Momentum、Adam、AdamW，参数beta1/beta2/epsilon
优化器
对比
08
梯度裁剪(Gradient Clipping)
原理、阈值设置，RNN/Transformer应用
梯度
稳定
09
权重衰减(Weight Decay)
与L2正则化关系，AdamW中的正确用法
衰减
AdamW
10
动量(Momentum)参数
物理意义、典型值(0.9,0.99)，加速收敛技巧
动量
加速
11
学习率预热(Warmup)
线性预热、余弦预热，大型经济模型必要性
预热
调度
12
批归一化(Batch Normalization)
参数gamma/beta、训练推理差异、位置选择
BN
归一化
13
层归一化(Layer Normalization)
与BN区别，时序经济模型优势
LN
时序
14
嵌入层(Embedding)维度
词嵌入/特征嵌入维度选择，经验法则
嵌入
维度
15
隐藏层大小与深度
宽而浅 vs 窄而深，经济数据网络结构设计
架构
深度
16
激活函数选择
ReLU、Leaky ReLU、GELU、Swish，梯度流动与经济非线性
激活
非线性
17
注意力头数(Attention Heads)
多头注意力头数设置，计算复杂度权衡
注意力
头数
18
序列长度(Sequence Length)
时间窗口选择，长短期依赖捕获影响
序列
窗口
19
位置编码(Positional Encoding)
绝对/相对/可学习位置编码参数
位置编码
Transformer
20
混合精度训练(AMP)
FP16/FP32参数、缩放因子，GPU加速效果
AMP
加速
21
分布式训练参数
数据并行、模型并行、梯度同步(AllReduce,PS)
分布式
并行
22
模型保存与检查点(Checkpoint)
保存频率、最佳模型指标、断点续训
保存
Checkpoint
23
超参数搜索方法
网格搜索、随机搜索、贝叶斯优化(Hyperopt,Optuna)
搜索
调参
24
学习率调度器组合
ReduceLROnPlateau + CosineAnnealingWarmRestarts
调度
组合
25
数据增强参数
时序抖动、缩放、掩码，经济数据安全使用
增强
时序
26
标签平滑(Label Smoothing)
平滑系数设置，分类任务正则化效果
平滑
正则
27
梯度累积(Gradient Accumulation)
步数设置，模拟大批量训练
累积
大批量
28
模型量化参数
INT8/INT4量化，校准集大小，精度损失评估
量化
INT8
29
知识蒸馏参数
温度T、软标签alpha，学生模型结构选择
蒸馏
压缩
30
端到端参数配置实战
综合案例：数据预处理到模型部署全流程参数清单
实战
全流程