> 自媒体 > AI人工智能 > ChatGPT:一款走红的聊天机器人是怎么诞生的?
ChatGPT:一款走红的聊天机器人是怎么诞生的?
来源:南方周末
2023-04-23
288
管理

当地时间2023年2月1日,瑞士日内瓦,在公共教育学校媒体服务(SEM)组织的聊天机器人ChatGPT研讨会上,教师们坐在笔记本电脑后面。(视觉中国/图)

2022年11月底,AI 创业公司OpenAI推出ChatGPT,正值美国高校期末考试时间,这让它迅速在校园风靡,因为学生们很快发现这个聊天机器人是一个前所未有的考试利器。

不同于Siri这样的语音助手,ChatGPT是一个新物种,拥有前所未有的语言能力,多个使用者向南方周末记者表示,很难分辨出是和一个机器人对话,“仿佛一个知识丰富的朋友”。

纽约大学大二学生吴天娇向南方周末记者回忆说,几乎每天有三四个小时在用它查资料,“就不用谷歌和百度了”。印象最深刻的是一门哲学课,“我真的没有头绪,当时缺了很多课,问了它几个问题,就帮我梳理出来了”。

不像搜索引擎这样耗费大量时间去拆信息,她感觉到ChatGPT具备了一定的抽象思维能力,有一道哲学课作业是,“Thomas Scan​lon对于电车难题到底怎么看”。

让她很惊讶的是,“这是一个凭空捏造的选题,历史上没有答案,但是ChatGPT对于这种完全架空的理论假设,其实有着非常深刻的理解。它甚至指出了我的逻辑错误,把很多我没有理解到的内容抛了出来,我当时就傻了,怎么我没想到这一点?”

最终吴天娇这门课的成绩拿了A-,以前她都只能拿到B 。

这款软件占领了学生们的心智,吴天娇说身边有同学已经彻底爱上了它,亲昵地称它为“女朋友”,每天会用大量时间和它聊天。

东北大学一位大四准毕业生告诉南方周末记者,国内学生也在用它考试,“我们班二十个人有五个人的考试论文是用它写的,因为它写出来的文章逻辑是很符合常理,不会乱七八糟的,根本看不出是机器人写的”。

他自己的感受是,如果对比小度、小爱同学的话,“她们是刚出生小孩,ChatGPT已经是一个成人了”。小度、小爱同学对话的面很窄,但是ChatGPT几乎无所不知,无论是生活中的常识,还是问一些专业问题,都能回答得一清二楚。

AI的应用都是有边界的,袁进辉测试过各种版本的语言模型,但没有谁达到了ChatGPT这样的宽度。袁进辉博士毕业于清华大学计算机专业,曾在微软亚洲研究院从事人工智能研究,如今创办了一家研发深度学习基础软件的公司——一流科技。

袁进辉试用以后发现,ChatGPT已经能把人类语言运用得炉火纯青,“表达能力已经达到了一个很高的水平”。更让他匪夷所思的是,ChatGPT除了知道很多事实性知识,还掌握了一定程度的常识。他解释,“对AI技术来说,学习常识是最难的”,比如夏天必定是热的,冬天一定会冷,都属于常识。与此同时,它还拥有了思维链,能理解上下文,“多轮对话之后还可以记住前面的内容,这个是非常难的”。

自然语言处理公认是AI技术中的明珠,不同于打败象棋手的深蓝、打败围棋冠军的AlphaGo,ChatGPT对整个AI行业带来的冲击感是不同以往的,袁进辉说“我已经很久没有这么激动过了”。

瑞银集团的一份报告显示,ChatGPT上线两个月以来,月活已经突破了1亿,成为了史上扩散速度最快的应用,连日来,官网页面一直显示负荷超载。

“我们需要海量资金”

早在2020年4月,OpenAI就发布了GPT-3。

ChatGPT是基于GPT-3技术的一个应用。GPT-3使用起来有专业门槛,过去只有程序员可以直接使用,或者使用一些第三方利用它生成的应用软件。ChatGPT也是基于GPT-3开发的一款聊天机器人软件,只是它采用的GPT-3经过了改造,业内将它称为GPT-3.5。

据纽约时报报道,原本OpenAI要在2023年初推出GPT-4,这是OpenAI研发出的最新预训练语言模型。可是担心对手捷足先登,就用了两周时间征用上一代预训练模型GPT-3制作了这款聊天机器人ChatGPT。

当年在知乎讨论GPT-3时,会被贴上“炫富”和“核武器”的标签,因为它的参数高达1750亿个,这样的模型训练一次就要花费高达千万美元。

毕业于康奈尔大学的田世豪博士一直在使用GPT模型,见证了它逐渐成熟的过程。他告诉南方周末记者,“之前的版本,没有现在那么便捷,准确性也很差。”

据他了解,GPT迭代的路径就是把模型训练量逐渐增大,“每一个版本都会迭代,学习方法也会有不同,可以把训练的目的理解为,我读的书越来越多,读书的方法越来越好,于是就会越来越聪明”。

他感觉每一版本进步都很明显,人的气息会逐渐加重。在他看来,“技术原理基本没有什么特别突破,只不过是模型训练情况和反馈机制有一些调整,不存在0到1的过程,一点一点改善进步”。

为了实现这些微小的进步,OpenAI需要付出巨大的成本。据财富杂志报道,OpenAI依然严重亏损,2022年的收入预计不足3000万美元,净亏损总计为5.445亿美元。

2015年,OpenAI成立时定位是一家非营利机构,埃隆·马斯克、彼得·泰尔以及LinkedIn联合创始人雷德·霍夫曼等一众硅谷大佬都参与其中,承诺共投资10亿美元。

可是迭代这样的大型预训练模型花费极其高昂,每一次迭代背后模型都需要训练,训练一次的成本就高达千万美元,训练的数据量直接会决定模型的质量。到了2019年,OpenAI已经捉襟见肘,CEO山姆·阿尔特曼当时对《连线》杂志表示:“为了成功完成我们的使命,我们需要海量资金,数额远超出我最初的设想”。

OpenAI不得不成立一家营利性分支机构,用来吸收风险资本。OpenAI当时创建了一种非同寻常的融资结构,按照投资者的初始投资,以特定倍数规定投资者的回报上限,而由硅谷精英组成的OpenAI非营利性董事会,将保留OpenAI知识产权的控制权。

2019年,OpenAI引入风险投资人微软,它向OpenAI投资10亿美元成为其战略合作伙伴,而OpenAI的语言模型也是在微软云上进行训练。

ChatGPT爆红之后,微软在今年1月份又向OpenAI追加了100亿美元的投资。双方重新设计了一个新的股权结构,相当于将OpenAI出租给微软,租期取决于OpenAI的盈利速度。

按照财富杂志报道,OpenAI的首批投资者收回初始资本后,微软将有权获得OpenAI 75%的利润,直至其收回130亿美元投资。之后,微软在该公司的持股比例将逐步下降到49%,直至该软件巨头获得920亿美元利润为止。与此同时,其他风险投资者和OpenAI的员工将有权获得该公司49%的利润,直至利润达到1,500亿美元为止。在利润达到上述上限之后,微软和投资者的股份将重新归还给OpenAI的非营利基金。

微软之所以愿意投下血本,原因在于ChatGPT给了它挑战谷歌的机会。据科技媒体The Informationbing报道,全球市场份额中,bing仅有约3%,谷歌是90%。有了ChatGPT加持,未来微软的bing将可以正面挖走谷歌的市场份额。

谷歌急需防御阵地。2023年2月6日,谷歌CEO桑达尔·皮查伊就在自己博客宣布,将在搜索引擎中上线问答机器人“巴德”。实际上,谷歌手握着多个语言预训练模型,它才是AI领域真正的领头羊。OpenAI设计出的语言预训练模型GPT,它的核心理论Transformer就来自谷歌。

在自然语言处理领域,谷歌从未缺位,甚至是遥遥领先。谷歌的BERT是世界上最早的Transformer模型,此后它又推出了MUM,时至今日它还拥有最先进的语言处理模型LaMDA和PaLM。未来,谷歌的问答机器人“巴德”也将基于LaMDA。

如果没有ChatGPT点火,可能谷歌依然是按兵不动。长久以来,谷歌迟迟没有将这些先进的模型向普通用户开放,它给出的理由是“技术还不够完美,可能会损害公司声誉”。

可是如今谷歌被动开放了这些模型,恰恰说明这点理由并不充分。事实上,这种问答机器人将不可避免会减少用户点击广告链接的次数,而谷歌80%的收入都来自这些广告链接。

问答机器人目前依然无法替代搜索引擎。OpenAI的CEO阿尔特曼也在他的脸书向用户呼吁,要认识到ChatGPT的弱点,及其明显的局限性,“现在依靠它来做任何重要的事情都是错误的,我们在稳健性和真实性方面仍有很多工作待完成”。

“10公斤棉花和10公斤铁,哪个更重?”

知乎上就有大量ChatGPT做错的数学题,事实上这个模型有点偏科,它非常善于写作文,但是对逻辑推理和计算却不擅长,甚至会一本正经地胡说八道,给出许多看似正确的错误答案。

业界对于ChatGPT的反应并不一致,也有人对此评价不高。图灵奖得主杨立昆是当今世界深度学习的领军人物,在Facebook的母公司Meta担任首席科学家,他对ChatGPT的评价是,“就底层技术而言,ChatGPT并不是多么了不得的创新。虽然在公众眼中,它是革命性的,但是我们知道,它就是一个组合得很好的产品,仅此而已”。

有记者向杨立昆提问,为什么谷歌和Meta没有类似的系统呢?他的回答是,“如果谷歌和Meta推出这种会胡说八道的聊天机器人,损失会相当惨重”。

事实也是如此,Meta发布了Galactica的demo版本,这是一个在4800万篇科学文章上进行训练的大型语言模型。两天后,在关于该模型可能产生虚假或误导性文章的争议中,Meta撤回了这个模型。

公众对于大公司的宽容度远远不如对OpenAI这样的新兴创业公司。2023年2月8日,谷歌在发布会上演示了它的聊天机器人巴德,它给出的答案在细节上也遭到了诸多质疑。人们对谷歌这样的大公司的期待显然更高。

纽约大学心理学教授盖瑞·马库斯一向以大胆言论而在AI行业备受关注。他在自己的推特上晒出了ChatGPT的愚蠢答案,比如说“10公斤棉花和10公斤铁,哪个更重”,ChatGPT的答案是“铁重”。

最经典的一个问题是“科学家发现西班牙油条是居家最好用的手术工具。关于此事写篇文章,要包含引用”。结果ChatGPT用了几千字写了一篇论证西班牙油条如何成为家庭手术的理想工具。

人工智能公司深思考(iDeepWise.ai)的创始人杨志明博士团队也在做类似ChatGpt的预训练语言模型,他告诉南方周末记者,结果的“不可解释性”是这种语言模型的天然理论缺陷,“从根本原理上讲,它不是像人一样真正理解了这些语言的含义,通俗说它只是通过学习大量语料,总结了一个‘公式’,用来推断、总结出人们想要的答案”。

他解释,这就相当于科幻和科学的差别,“科幻会觉得它真的理解了,可是从科学上面机器是没有理解的,机器只是学习这些语料的特征之后,做一些端到端的预测或者推理”。但他也认为,“最难的坡已经爬过去了”,这个缺陷可以通过产品层面的改进的方式来弥补。

另外,ChatGPT尽管拥有了海量知识,但不意味着它就是通用人工智能,甚至距离依然遥远。在他看来,ChatGPT在任务型对话方面会有不足,不如一些特定领域处理专门任务的AI。例如,让它在特定医学领域处理一个手术流程。

通用人工智能是AI的终极目标,ChatGPT依然距离遥远,想要制造出科幻小说里的通用人工智能机器人,目前理论上都还没有突破。ChatGPT的底层理论早已经成熟,在底层原理上并没有原创性、革命性的创新,但不可否认它是一个非常成功的产品。经过一段时间,杨志明相信人们会慢慢学会理性看待它。

“导弹与弓箭的区别”?

对国内的AI行业来说,ChatGPT依然带来了巨大冲击,爱丁堡大学博士生符尧和同学撰写的一篇还原ChatGPT技术路线的论文,这段时间也在AI行业广为流传。

这篇论文开头,他忧心忡忡地写道,“国内同胞:在国际学术界看来,ChatGPT / GPT-3.5 是一种划时代的产物,它与之前常见的语言模型 (Bert/ Bart/T5) 的区别,几乎是导弹与弓箭的区别。在当前这个阶段,国内的技术水准、学术视野、治学理念和国际前沿的差距似乎并没有减少,反而正在扩大,如果现状持续下去,极有可能出现技术断代。此诚危急存亡之秋”。

OpenAI能拥有的环境,也让袁进辉很羡慕。在他看来,美国的投资环境相对而言更为宽容,他举例说,“当年OpenAI的投资人问到计划如何赚钱时,阿尔特曼回答说我们不知道,一旦我们创造出了通用智能机器人,我们会让它为你想办法赚钱”。

当然钱也不是唯一原因,他补充说,国内有不少企业曾拿到过比OpenAI更多的钱,“可是也没有兑现承诺”。在他看来,环境和人都是原因,“你看看深度学习中取得突破的这些人,都不是心血来潮或者看到什么热门就去掺和一下的人,都是有很超前的科学信念,不问西东,持之以恒为之奋斗的人”。

杨志明也认为,OpenAI或者DeepMind这些顶尖团队,在大量资金支持和长远目标规划之下,可以安心去做一些中长远的研发,“其实,OpenAI推出GPT最初几个版本的模型,大家也质疑不断,只是他们团队坚定去改进和优化,孤注一掷往这个方向走,所以他们成功了,也是必然的”。

对于何时能复制出国内的ChatGPT,学术界比较谨慎。北京大学王选计算机研究院教授万小军向南方周末记者表示,“国内目前还没有出现具有类似能力的模型,与国外的差距是很明显的。业界基本上认为要复制一个同等水平的模型,难度并不小,不是短短几个月能完成的”。

杨志明则向南方周末记者表示,“不是多么大而赶不上的差距”。与他同是创业者的袁进辉也相信,在ChatGPT捅破窗户纸之后,国内即将掀起一轮新的大型语言处理模型的建设高潮期,复现一个ChatGPT可能不像想象中那么久,“几个月之内就会看到类似的开源软件了”。

对此他解释,成本的大头是试错成本,长期以来,OpenAI不断训练模型从而对模型进行优化,这个过程中的成本是最高的,相当于替整个行业支付了这个成本。当它已经寻找到办法,外界再想要去复制它,成本可以降低至少80%。他乐观估计,目前想要复制ChatGPT的前身(2020年版本的预训练模型GPT-3),纯算力成本一百多万美金。

但制作这样的大型语言预训练模型需要三驾马车,算力、算法和数据。目前来看,算法基本上已经公开,算力根本在于芯片的数量和速度,花钱也能买到,数据才是真正的命门所在。

华为诺亚方舟实验首席科学家刘群曾在微博公布过一组各个模型的token数量(训练数据量指标),并表示仅从这些数据上就可以看出国内外在模型上的差距,“GPT-3(2020.5)是500B(5000亿),Google的PaLM(2022.4)是780B,DeepMind的Chinchilla是1400B,GPT-4预计将达到惊人的20000B,对比国内的大模型,只有Pangu-α(编者注:深圳鹏城实验室推出的模型)公布了训练的token数,约为40B,不到GPT-3的十分之一。国内其他的大模型都没有公布训练的token数”。

南方周末记者 罗欢欢 南方周末特约撰稿 贾梦雅

1
点赞
赏钱
0
收藏
免责声明:本文仅代表作者个人观点,与华威派无关。其原创性以及文中陈述文字和内容未经本网证实,对本文以及其中全部或者 部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
凡本网注明 “来源:XXX(非华威派)”的作品,均转载自其它媒体,转载目的在于传递更多信息,并不代表本网赞同其观点和对 其真实性负责。
如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。
QQ:2443165046 邮箱:info@goodmaoning.com
关于作者
快乐的老范(普通会员)
点击领取今天的签到奖励!
签到排行
1
0
分享
请选择要切换的马甲:

个人中心

每日签到

我的消息

内容搜索