> 自媒体 > AI人工智能 > GPT-3数学不及格,愁坏团队,于是他们出了12500道数学
GPT-3数学不及格,愁坏团队,于是他们出了12500道数学
来源:量子位
2023-07-04
96
管理

贾浩楠 发自 凹非寺 量子位 报道 | 公众号 QbitAI

GPT-3,是个严重偏科的“文科生”。

UC伯克利的研究人员,在对类似GPT-3的大型语言模型进行测试后发现,数学,就是这类AI的盲区。

12500道高中数学题,GPT-3的正确率最低不到3%,最高也没超过7%。

完全不合格啊~

一直以“全知全能”形象示人的GPT-3,在面对数学问题时却一脸懵逼,这怎么能行?

于是,伯克利的团队,就量身为大语言模型打造了一个数学问题数据集。

“文科生”的数学作业,终究还是逃不掉。

为啥要让AI学数学?

AI学了数学有啥用?

数学是所有科学的基础,模拟行星轨道、原子运动、棋牌游戏等等本质都是数学问题。

去年大火的AlphaFold,生成预测蛋白质结构,本质也是复杂数学问题求解。

而在对AI进行训练测试后,发现成绩依然不理想。

数据集中的分步解决方案,能让语言模型像人类数学家一样使用 “短期记忆”。

即模型不必马上得出正确答案,而是可以逐步探索解法一步步走向正确答案。

但即使有了解决方案,研究者发现,对于GPT-2和GPT-3来说,准确率仍然很低.

从上图结果中能看出,让模型在产生答案之前生成自己的解决方案,实际上降低了准确性。因为在许多错误案例中,尽管解题步骤与问题相关,但它们是不合逻辑的。

此外,简单地增加模型中的训练时间和参数数量,有时会提高性能。但事实证明,这样做的代价过于高,训练的时间和能耗都大大增加。

而在AMPS上进行预训练可将准确率提升约25%,这相当于将模型大小提高15倍。

所以,尽管恶补了12500道高中数学竞赛题,GPT-3还是不及格。

但研究人员认为,让AI学会分步解题仍然有进步意义。

与直接在问题和答案上进行训练相比,MATH上训练过的模型,可以提高10%的相对准确率。

最重要的,是模型“掌握”了一些基本数学知识。在一些错误的解法下,AI已经懂得调用相关的公式定理,而不是胡言乱语一通。

AI数学竞赛的第一课,并不是毫无收获。

GPT-3也不要灰心,伯克利的团队说了,随着对模型的改进,今后它们的数学推理能力会越来越强。

MATH和AMPS现在都已开源,有兴趣的研究者可以直接下载:

https://github.com/hendrycks/math/

0
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
快乐的老范(普通会员)
点击领取今天的签到奖励!
签到排行
0
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索