压力给到百度了,GPT- 4震撼发布!有4个惊喜,但仍有3个遗憾!
2023-03-15 13:24:53
  • 0
  • 0
  • 1

一觉醒来,万众期待的GPT-4终于发布了,我们来看看他都有哪些迭代,给了我们哪些惊喜,又有哪些还没解决的问题呢?

作为一个重要的迭代升级版本,GPT-4相对于上一代而言,在多个性能上有显著的提升,这没有让我们失望。具体来看,关键的升级主要是以下几个方面:

惊喜1、文字输入限制提升至2.5万字

上一个版本,输入的文字不能超过3000字,而GPT-4将这一限制提升到了2.5万字。这个提升,将进一步扩展其应用范围。输入的不再限制于问题,用户可以直接输入文本内容,比如一篇文章甚至一篇报告。

惊喜2、可以输入图片了

上一代产品只能输入文本内容,此次更新升级,可以输入图片内容了。

比如,在此次发布的GPT-4,展示了下面这个例子。

用户:这张图有什么好笑的?

GPT-4:

该图显示了带有三个面板的“Lightning Cable”适配器的包装。

图片1:带有 VGA 连接器(一种大的蓝色 15 针连接器,通常用于计算机显示器)的智能手机已插入其充电端口。

图片 2:“Lightning Cable”适配器的包装,上面有 VGA 连接器的图片。

图片 3:VGA 连接器特写,末端有一个小型闪电连接器(用于为 iPhone 和其他 Apple 设备充电)。

这张图片中的幽默来自将过时的大型 VGA 连接器插入小型现代智能手机充电端口的荒谬做法。

从这个例子可以看出,GPT-4可以可以“理解”图片的特征,而且可以理解多个图片之间的关联关系,并可以依据用户的指令,来将图片的特征描述出来。

在相关性能参数方面,GPT-4的表现也可圈可点,具体对比如下表:

惊喜3、更聪明、更准确

为了了解这两种模型之间的差异,OpenAI在各种基准测试上进行了实验,包括最初为人类设计的模拟考试。OpenAI继续使用最新的公开测试(在奥林匹克和AP免费回答问题的情况下)或购买2022-2023版的模拟考试。

测试结果如下:

可以发现,当任务的复杂性达到足够的阈值时,GPT-4 比 GPT-3.5 更可靠、更有创意,并且能够处理更细微的指令。

此外,OpenAI还在为机器学习模型设计的传统基准测试上评估了 GPT-4。GPT-4 的性能大大优于现有的大型语言模型,以及大多数最先进的 (SOTA) 模型,具体比较如下表:

惊喜4、深度学习堆栈可预测性的扩展

对于像 GPT-4 这样的大模型,进行广泛的模型调整是不可行的。因此,模型的可扩展性就具有重要的价值。

OpenAI在模型的可扩展性方面不断探索,并在GPT-4 有重要的升级。为了验证GPT-4 的可扩展性,OpenAI通过从使用相同方法训练但使用少 10000 倍计算的模型进行推断,准确预测了 GPT-4 在内部代码库的最终损失,结果如下图:

从上述结果可以发现,GPT-4 可以用更少的计算量来实现更准确的预测。

此外,OpenAI成功预测了HumanEval数据集子集的通过率,从计算量减少 1000 倍的模型推断,其结果如下:

接下来,OpenAI在Inverse Scaling Prize上进行了测试,其结果如下:

可以发现,GPT-4 的表现要比GPT-3.5好很多。

然而,GPT-4并不是完美的,他依然还存在很多待解的问题,或者说是此次发布的遗憾。

遗憾1、参数规模没有大规模提升

GPT-4是一个大规模预训练模型,对于大模型而言,参数规模往往是一个关键指标。一般情况下,更大的参数规模意味着更强的技术能力。

在此前不久,业界就在流传GPT-4将在参数规模上有大幅度提升,甚至传言将达到100万亿级的参数规模,这也拉高了业界的期待。

此次发布的GPT-4,并没有公布准确的参数规模。如果参数规模提升了一个数量级,OpenAI肯定会大肆宣扬一番,并将其作为GPT-4的一个关键突破。既然没说,那大概率就是没有大的改进。

遗憾2、一个假的多模态,不能生成图片、视频

大模型的发展趋势,除了更好的性能表现外,一个关键的突破就是多模态。所谓多模态,就是文字、图片、视频、语音这些不同模态的信息之间的相互转换。比如,输入一段文字内容,AI应用可以依据文字描述来自动生成一幅画甚至是一个视频。

ChatGPT是很强大,但他的强大只表现在文字领域,还不能跨模态。GPT-4的一个关键升级就是多模态,业界最期待的也是这个。然而,此次发布的GPT-4却有点失望,他在多模态上有点突破,可以输入图片内容,但是输出的却还只能是文字。用户最期待的图片、视频生成,他没能实现,这是一个巨大的遗憾。

遗憾3、“发疯”问题有改善,但没彻底解决

ChatGPT在使用过程中,偶尔会遇到“发疯”的情况,变得胡言乱语,这给微软带来了不小的麻烦。那么,GPT-4把这个问题解决了么?

根据测试结果来看,这个问题有改善,但还没能彻底解决。

OpenAI承认,GPT-4 与早期的 GPT 模型具有相似的局限性,它仍然不完全可靠,可能会存在推理错误。

但是,但 GPT-4 相对于以前的模型已经有比较显著的改善了。OpenAI对不同模型进行了内部对抗性真实性测试,具体来看,进行了涵盖学习、技术、写作、历史、数学、可惜等九类测试,准确度为 1.0 意味着模型的答案被判断为与人类理想回答一致。

OpenAI将GPT-4 与ChatGPT-V2、ChatGPT-V3、ChatGPT-V4进行了比较,最终结果如下:

在OpenAI的内部对抗性真实性评估中,GPT-4的得分比我们最新的GPT-3.5高40%。

之后,OpenAI在TruthfulQA等外部基准,测试了模型将事实与对抗性选择的一组错误陈述分开的能力。

根据结果来看,GPT-4仅比GPT-3.5好一点点,并没有显著的提升。

此次发布会,除了GPT-4本身技术性能的提升以外,还有一个很重要的看点,那就是其商业化进展。从微软近期的动作来看,他是准备在GPT-4基础上大干一场。在数据猿先前发布的文章《先用ChatGPT革自己的命,然后干翻所有人!微软要“梭哈”了!》中,整理了微软近期将ChatGPT与其业务体系整合的情况,可以发现,微软的很多业务都已经可以看到ChatGPT的身影。

大规模预训练模型这个赛道异常热闹,尤其是OpenAI可以说已经成为科技界的明星。然而,大模型的竞赛才刚刚开始,鹿死谁手犹未可知。

GPT-4再好,也是别人的东西,我们当然更期待中国自己的大模型。

正好,百度将在明天(3月16日)发布文心一言,让我们小小期待一下吧。

所以,压力给到百度了。

往期精彩文章:

先用ChatGPT革自己的命,然后干翻所有人!微软要“梭哈”了!

关注数据猿公众号,后台回复“GPT4技术报告”获取最新98页报告原文。

文:月满西楼 / 数据猿

 
最新文章
相关阅读