表现得相当不错,接着 Open 及其他公司开始大规模扩展这些模型,像Googe、、 和 x 等许多公司也加入了这个竞赛,将模型的能力提升到极限。 过去两三年间,几乎完全是执行层面的工作,涉及如何使大规模训练顺利进行,如何避免代码中的怪异错误,如何设置更大的集群等。
接下来我认为我们将进入
个研究和执行之间更多交替的阶段,各实验室将朝着 Botim数据库 不同的研究方向发展,并在不同时期取得各自的突破,因此这是一个激动人心的转折期。 他们已经达到了一个阶段,虽然不能说计算资源是丰富的,但已经足够支撑模型的发展,基本不再是一个限制。而在数据方面,所有前沿实验室已经尽可能地挖掘了可用的数据资源。
接下来就是在数据方面取得突破
对吗? 是的,基本上是这样。如果你看这三 多种空调和制冷系统的管道 大支柱,计算方面我们显然会继续扩大训练集群的规模,这个方向是比较明确的。算法方面,我认为将会有很多创新。 事实上,很多实验室现在都在这一领域进行深入的研究。而关于数据,你提到的很对,我们已经用尽了所有容易获取的公开数据。 是的,所有人都可以获得相同的数据。 没错,很多人称之为“数据墙”,我们已经利用了所有公开的数据资源。而下一阶段的标志之一将是数据生产。 每个据以实现更高的智能水平,这将是一个关键问题,我们如何朝着数据丰富迈进?这将需要多个领域的前沿研究。
我认为首先是推动数据复杂性
的提升,迈向前沿数据。我们希望在模型中构 细胞P数据 建的许多能力,其最大的障碍其实是数据的缺乏。 比如说,过去两年内, gent 一直是一个热门话题,但实际上几乎没有 gent 能很好地运作。原因是网络上根本没有大量有价值的 gent 数据。这些数据不在那里,所以我们需要生产高质量的 gent 数据。 能举个例子,说明我们需要生产什么样的数据吗? 我们即将发布的一项研究表明,目前所有前沿模型在工具组合上的表现都很差。比如它们需要先查找信息,然后编写一个 脚本,再绘制图表,使用多个工具串联起来解决问题时,模型表现得非常糟糕。而这对人类来说是非常自然的