Embedding 向量维度与模型容量关系 · 课程目录

Embedding基础概念

One-hot → Dense Vector · 为什么需要

向量维度与信息容量

维度·参数量·计算权衡

维度选择的经验法则

最佳维度范围 · 词汇量 · 深度匹配

高维Embedding的挑战

维度灾难 · 过拟合 · 不稳定

低维Embedding的局限

表达能力 · 语义区分 · 长尾词

维度与模型容量的数学关系

参数 · FLOPs · 内存估算

经典模型中的维度设计

Word2Vec · BERT · GPT系列

维度与下游任务性能

分类 · 序列标注 · 生成任务

自适应维度方法

动态调整 · 剪枝 · 低秩分解

维度与训练效率

训练速度 · 梯度更新 · 分布式

Embedding矩阵的初始化

Xavier · Kaiming · 预训练

维度与正则化

Dropout · L2 · Label Smoothing

多任务学习中的维度共享

共享维度 · 任务特定维度 · 冲突

跨模态Embedding的维度对齐

文本·图像 · 多模态融合 · 对比

大规模Embedding的维度优化

参数服务器 · 模型并行 · 混合精度

维度与模型压缩

量化 · 知识蒸馏 · Pruning

图神经网络中的Embedding维度

节点 · 边 · 图级维度

时间序列Embedding的维度

时间步 · 周期 · 趋势维度

推荐系统中的Embedding维度

用户 · 物品 · 特征交叉

NLP中的维度演进

静态→上下文 · 注意力 · 位置编码

CV中的Embedding维度

Patch · ViT · CLIP对齐

维度与模型泛化能力

过拟合平衡 · OOD · 鲁棒性

自动化维度搜索

NAS · 贝叶斯 · 进化算法

维度与模型可解释性

可视化 · 重要性 · 稀疏解释

硬件约束下的维度设计

GPU显存 · TPU · 边缘设备

维度与数据规模的关系

小数据 · 大数据 · 数据增强

对比学习中的维度设计

SimCLR · MoCo · CLIP

维度与模型集成

多Embedding融合 · Bagging · Boosting

动态维度 · 超维度 · 神经符号

从零设计 · 调优实验 · 决策框架