ConceptAI › Deep Learning › Transformer › Embedding
Embedding
嵌入表示
一句话理解
Embedding 是把离散对象映射为连续向量，让神经网络能够计算它们之间的关系。
最好理解的例子
Token ID 像图书编号，Embedding 则像描述这本书主题、风格和用途的一组坐标。
核心机制
- 1
确定需要表示的离散对象或复杂对象。
- 2
通过查表或 Encoder 将对象映射为固定维度向量。
- 3
在训练目标约束下，让向量的距离与方向承载可用关系。
为什么重要
神经网络不能直接理解文字编号；Embedding 提供了可学习、可比较的数值表示。
关键关系
常见误解
输入 Embedding 通常是查表得到的初始表示，不等于经过模型计算后的上下文表示。
进一步理解
Embedding 空间中的几何关系来自训练目标。距离更近不必然等于“含义完全相同”，它只说明在当前模型与任务下具有相近的表示。
知识邻域
AI → Deep Learning → Transformer