1. 本文研究了公开的LAION数据集和开源OpenCLIP库中对比语言-图像预训练(CLIP)的可重复性比例法则。
2. 我们的大规模实验包括在多达20亿个图像文本对上训练的模型,并识别出零点分类、检索、线性探测和端到端微调的功能法则。
3. 我们将所有模型(包括最大的公共CLIP模型)开源,以保证可重复性并使尺度法则研究更加易行。
这是一项有意义的工作,它旨在通过大规模实验来证明对于不同任务而言,CLIP学习存在可重复性尺度法则。文章中使用了公开数据集LAION和开源OpenCLIP库来进行实验,并把所有实验代码都开源出来以保证可重复性。此外,文章还发现了不同数据集会影响尺度法则的表现。
然而,文章中也存在一些问题。例如:文章中使用的数据集是否真正代表真实情况? 文章中使用的方法是否真正能够体现出尺度法则? 文章中是否考虑了扩大样本量会带来的风险?
此外,文章也未能充分考虑一些相关因子如不同数据集之间差异、不同方法之间差异、不同任务之间差异、不同尺度之间差异以及随时间变化带来的影响。因此,我们必须要特别留意这些因子对尺度法则表现会带来何影响。