ConceptAI › Deep Learning › Model Components › Pretrained Model

Pretrained Model

预训练模型

一句话理解

预训练模型先从大规模数据学习通用能力，再被适配到具体任务。

最好理解的例子

在 ImageNet 上预训练的视觉模型，只需少量医学影像与微调就能适配病灶分类任务。

核心机制

1
先在大规模通用数据和代理目标上学习参数。
2
保留已经形成的特征、表示或语言规律。
3
通过微调、提示或轻量适配迁移到具体下游任务。

关键关系

带来能力

Backbone Transfer Learning Fine-Tuning

强关联

Self-supervised Learning Representation

知识邻域

AI → Deep Learning → Model Components

Backbone Transfer Learning Fine-Tuning Self-supervised Learning Representation