AI个人学习
和实操指南

OpenAI 下代模型遇大瓶颈,前首席科学家透露新路线

OpenAI 下代模型遇大瓶颈,前首席科学家透露新路线-1

 


OpenAI 的下一代大语言模型「Orion」可能遇到前所未有的瓶颈。据 The Information 报道,OpenAI 员工称 Orion 模型的性能提升未达到预期,与 GPT-3 到 GPT-4 的升级相比,品质提升「小很多」。

此外,Orion 在处理某些任务时不如前代 GPT-4 稳定。尽管 Orion 的语言能力更强,但编程性能可能无法超越 GPT-4。训练高质量文本和其他数据的资源逐渐减少,使得寻找优质训练数据变得更加困难,从而减缓了大语言模型(LLMs)的发展。

不仅如此,未来的训练将更加耗费计算资源、资金甚至电力,这意味着开发 Orion 及后续的大语言模型的成本会显著增加。OpenAI 研究员诺姆·布朗(Noam Brown)最近在 TED AI 大会上表示,更先进的模型可能「经济上不可行」:

我们真的要耗费数千亿美元或数万亿美元来训练模型吗?某个时刻,扩展定律会崩溃。

OpenAI 已成立由尼克·雷德(Nick Ryder)领导的基础团队,负责研究如何应对训练数据日益匮乏的问题,以及大模型扩展定律(scaling laws)还能持续多久。

Noam Brown

Noam Brown

扩展定律(scaling laws)是人工智能领域的核心假设之一:只要有更多可学习的数据,并且具备更强的计算能力来推动训练过程,大语言模型的性能就能以相同的速度持续提升。简而言之,扩展定律描述了资源投入(数据量、计算能力、模型规模)与模型性能输出之间的关系。也就是说,向大语言模型投入更多资源时,性能提升的程度。

例如,训练大语言模型可以类比为生产汽车:最初工厂规模很小,只有几台机器和少数工人,此时每增加一台机器或一名工人,产量都会显著提高,因为新增资源直接转化为生产力。然而,当工厂规模扩大后,每增加一台机器或一名工人的产量提升将逐渐减少,这可能是由于管理复杂性增加或工人协作效率下降。

当工厂达到一定规模,再增加机器或工人,产量的提升可能会更为有限。这时,工厂可能接近土地、电力供应和物流等资源的极限,进一步投资已经无法带来与之相匹配的产能提升。Orion 模型面临的困境正是如此:随着模型规模的增大(类似于增加机器和工人),早期和中期模型性能提升非常显著,但后期即便增加模型规模或训练数据量,性能提升却变得越来越小,这就是所谓的「撞墙」。

根据 arXiv 上的论文,由于对公共人类文本数据的需求增长和数据有限性,预计在 2026 到 2032 年间,大语言模型的发展可能耗尽公共人类文本资源。尽管诺姆·布朗指出未来模型训练存在「经济问题」,但他仍反对上述观点,认为「人工智能的发展不会很快放缓」。

Scaling Laws Graph

OpenAI 的研究员们也普遍认同这一观点,尽管扩展定律可能会放缓,但通过优化推理时间和训练后的改进,AI 的整体发展不会受到显著影响。Meta CEO 马克·扎克伯格(Mark Zuckerberg)、OpenAI CEO 山姆·奥特曼(Sam Altman)以及其他 AI 开发商的首席执行官也公开表示,扩展定律的传统极限尚未到来,他们仍在开发昂贵的数据中心以提高预训练模型的性能。

OpenAI 产品副总裁彼得·韦林德(Peter Welinder)也在社交媒体上表示「人们低估了测试时计算的强大功能」。测试时计算(TTC)是机器学习的一个概念,指的是模型在部署后针对新输入数据进行推理或预测时的计算,与训练时的计算是分开的。训练阶段是模型学习数据模式的过程,而测试阶段是模型应用于实际任务的过程。

传统的机器学习模型在训练完成并部署后,通常无需额外计算即可预测新的数据实例。然而,一些更复杂的模型,例如某些类型的深度学习模型,可能需要在测试时(推理时)进行额外计算。OpenAI 开发的「o1」模型就采用了这种推理模式。整个 AI 行业正在将重点转向初始训练完成后的模型优化阶段。

Peter Welinder

Peter Welinder

OpenAI 联合创始人之一伊利亚·苏茨克弗(Ilya Sutskever)最近在接受路透社采访时承认,使用大量未标记数据来训练人工智能模型,使其理解语言模式和结构的预训练阶段,其效果提升已经趋于平稳。他表示:「2010 年代是扩展的时代,而现在我们再次回到了探索和发现的时代。」他还指出:「提升准确性比以往更加重要。」

Orion 计划于 2025 年推出,OpenAI 将其命名为「Orion」而非「GPT-5」,或许暗示着一次全新的革命。虽然目前因理论限制而「难产」,但人们依然期待这个新名字的「新生儿」能够为 AI 大模型带来变革的契机。

AI轻松学

普通人的AI入门指南

帮助你以低成本、零基础学会如何利用AI工具。AI就像办公软件一样,是每个人的必备技能。 掌握AI会让你在求职中占据优势,在未来的工作和学习中事半功倍。

查看详情>
未经允许不得转载:首席AI分享圈 » OpenAI 下代模型遇大瓶颈,前首席科学家透露新路线

首席AI分享圈

首席AI分享圈专注于人工智能学习,提供全面的AI学习内容、AI工具和实操指导。我们的目标是通过高质量的内容和实践经验分享,帮助用户掌握AI技术,一起挖掘AI的无限潜能。无论您是AI初学者还是资深专家,这里都是您获取知识、提升技能、实现创新的理想之地。

联系我们
zh_CN简体中文