预训练

底层视觉任务的预训练与微调

预训练模型能否在视觉任务上复刻在自然语言任务中的成功？

为了更好地说明为什么要用Transformer，研究者还设计了一个基于CNN的预训练模型作为对照，并在DIV2K数据集2倍超分辨率的任务上探索了不同预训练数据量对模型性能的影响。

在表4中，对于噪声强度为10和70的设定下（预训练为20和50），IPT模型依旧展现出巨大的优势，展示了预训练模型良好的泛化性。

每个具体任务所采用的IPT模型均为同一个预训练模型在特定任务上微调得到的。

结果显示，经过预训练的模型只需要做一些简单微调即可适用于多种下游任务。

随后研究者进一步测试了预训练模型的泛化性能。

图2：预训练数据量对CNN与IPT模型的影响。

结果显示，在预训练数据有限时，CNN模型能获得更好的性能。

研究者表示，通过引入这一对比损失函数，模型能够在未经预训练的任务上展现超越传统方法的性能。

表4：未经预训练任务上的实验结果。

首先，研究者展示了经过预训练的IPT模型在不同任务上微调后达到的性能。

经过预训练的IPT模型，只需要在特定任务的数据集上进行微调，即可在此任务上达到很好的效果。