01
LSTM起源：RNN困境与梯度消失
RNN的困境与梯度消失问题，LSTM如何解决长期依赖。
起源梯度消失
02
LSTM核心思想：门控与细胞状态
遗忘门、输入门、输出门、细胞状态（Cell State）的直观理解。
门控细胞状态
03
遗忘门详解
Sigmoid层如何决定丢弃哪些历史信息，数学公式与代码实现。
遗忘门Sigmoid
04
输入门详解
Sigmoid与Tanh层如何协同工作，决定存储哪些新信息。
输入门Tanh
05
细胞状态更新
遗忘门与输入门如何共同更新细胞状态，公式推导。
状态更新公式
06
输出门详解
基于细胞状态如何生成隐藏状态（Hidden State），公式与代码。
输出门隐藏状态
07
LSTM变体：Peephole & GRU
Peephole Connections、Coupled Forget and Input Gates、GRU简介。
变体GRU
08
数据预处理：滑动窗口与归一化
时间序列数据的滑动窗口构建、归一化（MinMaxScaler）、训练集/测试集划分。
预处理滑动窗口
09
PyTorch基础：Tensor与自动求导
Tensor操作、自动求导、nn.Module类、优化器与损失函数。
PyTorch自动求导
10
构建LSTM模型：nn.LSTM参数详解
input_size, hidden_size, num_layers, batch_first 等核心参数。
nn.LSTM参数
11
单变量时间序列预测
使用LSTM预测股票价格（示例：使用正弦波或简单数据集）。
单变量股票
12
多变量时间序列预测
多个特征输入（如气温、湿度、风速）预测未来值。
多变量特征
13
多步预测策略
直接多步预测、递归多步预测、Seq2Seq多步预测。
多步预测Seq2Seq
14
模型训练：超参数调优与早停法
超参数调优（学习率、隐藏层大小、层数、序列长度）、早停法（Early Stopping）。
调优早停
15
模型评估：MAE、MSE、RMSE、MAPE
指标计算与解读，评估预测性能。
评估回归指标
16
过拟合与正则化：Dropout & L1/L2
Dropout层在LSTM中的使用、L1/L2正则化。
正则化Dropout
17
双向LSTM（BiLSTM）
原理、适用场景（文本分类、情感分析）、代码实现。
BiLSTM双向
18
堆叠LSTM（Stacked LSTM）
多层LSTM的堆叠策略、梯度流动注意事项。
堆叠多层
19
注意力机制与LSTM
Bahdanau Attention、Luong Attention原理，在序列预测中的应用。
注意力Bahdanau
20
Seq2Seq模型：Encoder-Decoder
Encoder-Decoder架构，使用LSTM实现机器翻译或序列生成。
Seq2Seq翻译
21
LSTM在NLP中的应用
文本生成、情感分析、命名实体识别。
NLP文本生成
22
LSTM在语音处理中的应用
语音识别、音乐生成。
语音音乐
23
LSTM在异常检测中的应用
时间序列异常点检测、工业设备故障预测。
异常检测故障
24
LSTM与CNN结合
CNN提取局部特征，LSTM捕捉时序依赖（如视频分类）。
CNN混合模型
25
模型部署：ONNX与TorchScript
使用ONNX导出LSTM模型、使用TorchScript进行生产化部署。
部署ONNX
26
性能优化：梯度裁剪与混合精度
梯度裁剪（Gradient Clipping）、混合精度训练、批处理优化。
优化混合精度
27
实战项目1：电力负荷预测
使用LSTM预测电力负荷（ETTh1数据集）。
实战电力
28
实战项目2：IMDb情感分析
使用LSTM进行情感分析（IMDb电影评论数据集）。
实战情感分析
29
实战项目3：古诗生成
使用LSTM生成古诗（字符级语言模型）。
实战古诗
30
总结与展望：LSTM + Transformer
LSTM的局限性、Transformer的崛起、未来研究方向（如LSTM+Transformer混合模型）。
总结Transformer