UC伯克利仅使用当前模型检查点预测未来模型,GPT-5涌现能力可预测?!

seekdeep5个月前AI资讯159

LLM 规模扩展的一个根本性挑战是缺乏对涌现能力的理解。特别是,语言模型预训练损失是高度可预测的。然而,下游能力的可预测性要差得多,有时甚至会出现涌现跳跃(emergent jump),这使得预测未来模型的能力变得具有挑战性。

最近,来自加州大学伯克利分校(UC 伯克利)的研究团队提出涌现预测的任务:是否可以仅通过使用 GPT-N 模型的检查点(即当前模型的状态)来预测 GPT-N+1(未来模型)是否会出现涌现能力? 并在论文《Predicting Emergent Capabilities by Finetuning》中给出了答案。

论文标题:Predicting Emergent Capabilities by Finetuning

论文地址:https://arxiv.org/pdf/2411.16035

值得注意的是,这篇论文的作者包括强化学习大牛 Sergey Levine。

该研究拟合了一个参数函数 —— 涌现定律,模拟了涌现点如何随数据量的变化而变化。

为了进行验证,该研究使用四个标准 NLP 基准 ——MMLU、GSM8K、CommonsenseQA 和 CoLA。通过仅使用小规模 LLM 来拟合涌现定律,该研究能够准确预测涌现点。

最后,该研究提出了两个实际的涌现案例研究,表明该研究提出的涌现定律可用于预测更复杂的能力。

思维链提出者 Jason Wei 称赞:「这是一篇非常聪明的论文,可以预测预训练模型的下游性能,非常有价值。因为可以使用它来预测和证明对下一个大模型训练运行的资本投资的合理性。」

作者首先提出了涌现预测,并将涌现预测定义为仅使用涌现前的模型检查点,来识别发生涌现的扩展点的问题。

简单理解就是,对于给定的 LLM,其在特定任务上具有随机少样本准确率,我们能否预测这个 LLM 在哪个扩展点(例如,预训练损失)上性能将超越随机表现?

带着这一疑问,作者发现了这样一个见解:在给定的任务上微调 LLM, 可以将涌现发生的临界点向着能力较低的模型移动 ,这意味着,通过微调,模型在涌现能力出现的时间点可以提前,这对于理解模型扩展和能力跃升的过程非常重要。微调所使用的数据量,会调节这种临界点移动的幅度。

图 3(左)绘制了每个模型在 GSM8K 和 MMLU 上的少样本和微调性能与预训练损失的关系。可以看到,微调后的模型遵循与少样本设置类似的 ReLU 形状。此外,在相同的预训练损失下,所有模型大小的转变都是一致的,这表明预训练损失可以作为少样本和微调设置中有效的独立变量。

作者还发现出现涌现偏移受微调数据量的影响。图 3(右)绘制了 3B 模型检查点在完整数据子集上进行微调后的性能。在 MMLU 和 GSM8K 上,随着微调数据量的增加,涌现点进一步向能力较弱的 LLM 偏移。因此,微调数据量可以调节涌现偏移。

为了将这一洞察付诸实践,作者针对不同数量的数据对 LLM 进行了微调,并拟合了一个参数函数(即涌现定律),该函数模拟了涌现点如何随数据量的变化而变化。

然后,根据这一发现可以推断出在少样本设置中关于涌现的预测。

作者利用四个标准 NLP 基准来验证涌现定律,结果发现涌现定律可以提前准确预测涌现点,最多可提前 4 倍 FLOP。

接下来作者进行了这样一个实验,就预训练 FLOPS 而言,可以提前多久成功做出预测。结果发现,可以提前预测涌现的程度在某种程度上取决于任务。

在 MMLU 和 GSM8K 上,可以分别提前最多 4.3 倍和 3.9 倍的 FLOPS 涌现出现。然而,在 CommonsenseQA 和 CoLA 上,分别只能提前预测 1.9 倍和 2.3 倍。

最后,作者还进行了真实世界的案例研究:1)低成本评估预训练数据质量(左)。2)使用困难 APPS 编码基准预测更复杂的能力,更接近未来前沿模型的能力(右)。

相关文章

GPT-4正接管人类数据专家:先验知识让LLM大胆预测,准确率堪比传统方式

终有一天,LLM可以成为人类数据专家,针对不同领域进行数据分析,大大解放AI研究员。在数据科学中,AI研究员经常面临处理不完整数据集的挑战。然而,许多已有的算法根本无法处理「不完整」的数据序列。传统上...

国产大模型拿下总分第一,GPT-4 Turbo首次被击败!

OpenAI长期霸榜的SuperCLUE(中文大模型测评基准),终于被国产大模型反将一军。事情是这样的。自打SuperCLUE问世以来,成绩第一的选手基本上要么是GPT-4,要么是GPT-4 Turb...

80亿参数、前OpenAI人员经数年打造,机器人ChatGPT来了!

机器人 AI 公司 Covariant CEO Peter Chen坐在一个聊天机器人面前,界面和 ChatGPT 的很像。“给我看看你面前的运送箱,” 他输入一段文本。然后出现了一段视频,一个机械臂...

北大&字节提出VAR范式,GPT超越扩散、视觉生成Scaling Law时刻!

新一代视觉生成范式「VAR: Visual Auto Regressive」视觉自回归来了!使 GPT 风格的自回归模型在图像生成首次超越扩散模型,并观察到与大语言模型相似的 Scaling Laws...

OpenAI把它放到了机器人上,在GPT-4诞生1年后!

ChatGPT拥有了身体,机器人也有了灵魂。从OpenAI在去年3月14日拿出GPT-4后,已经过了整整一年。显然,在GPT-4诞生之后的这一年,一切都迭代得太快了,从GPT-4展现多模态能力,到千行...

 LNM-DecisionGPTG决策超脑™通过中央网信办审核!

LNM-DecisionGPTG决策超脑™通过中央网信办审核!

2024年11月1日,中央网信办经过严格审核,正式通过并发布了未来地图100%自主知识产权LNM-DecisionGPTG决策超脑™大数值模型算法备案,者意味着完整的LNM底座模型之母被国家认可,而且...