ConceptAI › Machine Learning › Representation › Contrastive Learning
Contrastive Learning
对比学习
一句话理解
对比学习通过比较匹配与不匹配的样本，学习能够表达任务相关关系的表示。
通过比较，学会哪些信息应该靠近。
最好理解的例子
在 CLIP 中，“一只狗在奔跑”应与对应的狗照片更匹配，而不是与汽车照片匹配。批次内的图文比较训练出可用于检索的向量。
核心机制
- 1
根据任务规则构造正负样本关系。
- 2
将各个样本编码为可比较的向量。
- 3
计算对比损失，提高正样本相似度并降低负样本相似度。
- 4
更新编码器，学习任务相关的表示。
关键关系
常见误解
对比学习是一种训练方法，不等同于自监督学习；正负样本关系也可以由人工标签或图文配对提供。
知识邻域
AI → Machine Learning → Representation