日前,OpenAI 创始人山姆·奥特曼(Sam Altman)表达了对于 ChatGPT 和 GPT-4 的担忧,AI 模型的内容生成能力、以及取代人类工作的潜力让他“有点害怕”。他说,人类历史上的几次技术革命,确实让社会工种发生了很大变化,有些工作甚至彻底云消雾散。
但他同时表示,人类仍然是劳动力的重要组成部分,旧的岗位消失、新的岗位源源不断,我们总能找到新工作。因此,ChatGPT 只是人类的工具,而不是人类的替代品。
图 | OpenAI 创始人山姆·奥特曼(Sam Altman)(来源:资料图)
不过,鉴于 ChatGPT 越来越擅长写代码,奥特曼也在担心它是否会被用于网络攻击或大规模炮制虚假信息。尽管 ChatGPT 在很大程度上可以被人为控制,但他认为保不齐会有人用它来做坏事。所以,面对 ChatGPT 以及其他 AI 工具可能产生的负面影响,留给人们作出合宜处理的时间并不多。
(来源:资料图)
对于 GPT-4 的核心秘密,OpenAI 为何“守口如瓶”?
很多人都已经知道,ChatGPT 使用的是 GPT-3.5 的一个微调版本。而在最近,GPT-4——一种多模态大型语言模型也已经横空出世。
使用 GPT-4 时,它可以同时对文本和图像给出回应。比如当你打开冰箱,拍一张番茄的照片然后发给它,问它用番茄能做什么菜,这时 GPT-4 就会尝试制作和番茄相关的食谱。它也很擅长解释笑话,如果你给它看一个表情包,它能向你解释里面有什么有趣的梗。
目前 GPT-4 仅开放给 ChatGPT Plus 的付费用户,要么就是以 API 开发者的身份加入等待名单。并且,当前所有用户都只能使用文本模式。
作为业内同行,开源大语言模型 BLOOM 背后的联合创始人托马斯·沃尔夫(Thomas Wolf)说,一款优秀的多模态大模型一直是诸多大型技术实验室所追求的目标。理论上,文本和图像的结合可以让多模态模型更好地理解世界。但是,GPT-4 仍然难遥不可及。不过,沃尔夫认为 GPT-4 或许能解决传统语言模型的弱点比如空间推理的难题。
根据 OpenAI 的说法,GPT-4 之所以比 ChatGPT 表现更好,是因为它是一个拥有更多参数的大模型。在 OpenAI 之前的模型迭代中,参数的增加是一个重要趋势。
参与开发 GPT-4 的工程师雅库布·帕乔基(Jakub Pachocki)告诉《麻省理工科技评论》:“这个基本公式多年来并没有发生太大改变。但这就像建造一艘宇宙飞船,你需要把所有小部件都做好,并确保没有一个会损坏。”
比如,GPT-3 的性能优于 GPT-2,因为它的参数量是 1750 亿,而 GPT-2 的参数量只有 15 亿,两者相差 100 多倍。
对于 GPT-3,OpenAI 创始人奥特曼此前曾告诉《麻省理工科技评论》:“GPT-3 是人们第一次真正感受到一个系统的智能。GPT-3 可以做人类所做的事。我认为,这让那些以前根本不相信通用人工智能的人开始认真对待它,并在之后发生了一些我们都没有预料到的事情。”
如果说 GPT 的前几代都是科研成果的话,GPT-4 更像一个成熟的产品。同时,GPT-4 也是 OpenAI 有史以来最神秘的新成果发布,标志着 OpenAI 从非营利性研究实验室全面过渡到营利性公司。
但是 OpenAI 这次并未透露 GPT-4 的参数量,不过奥特曼曾表示 GPT-4 是迄今为止 OpenAI 最大的模型。
同时,OpenAI 也并不打算公布 GPT-4 到底好在哪里。GPT-4 发布之后,《麻省理工科技评论》与其开发团队进行视频电话时,OpenAI 首席科学家伊利亚·苏斯克弗(Ilya Sutskever)表示:“你知道,有些事我们现在还不能评论。外面到处都是竞争对手。”
关于这一话题,正在看同类项目的投资人非常有发言权。投资公司 Tola Capital 的联合创始人希拉·古拉蒂(Sheila Gulati)说:“对大多数公司来说,创建类似规模的模型的成本是无法承受的,但是 OpenAI 采用的方法让初创公司非常容易接入大型语言模型,这将促进基于 GPT-4 的巨大创新。”
除了不公布参数量之外,OpenAI 也没有透露 GPT-4 的构建方式,更没有透露所使用的数据和算力。
这让作为同行的沃尔夫不禁吐槽:“OpenAI 现在成了一家完全封闭的公司,所做的科学交流也越来越类似新产品的新闻稿。”不过这似乎也可以理解,毕竟 OpenAI 已经变成盈利性公司,自然要通过技术保密来维护利益。
北京智源研究院院长黄铁军教授认为:“OpenAI 成立的时候是开放的,只不过为了训练大模型必须有很多资金的投入,但是他并没有放弃开放的梦想。目前可能是比较现实的选择。”
但 OpenAI 也并非绝对地守口如瓶,在 GPT-4 所使用的技术上,它也做了一定的透露。其表示,通过使用与 ChatGPT 相同的方法,即借助于人类反馈的强化学习技术,GPT-4 实现了诸如在律考中取得高分成绩、以及识别梗图等功能。
在运用基于人类反馈的强化学习技术时,OpenAI 会要求真人评分者对模型的不同反应进行评分,以此来提升 GPT-4 的输出质量。而且上一代 GPT 也使用了这款技术,因此这并不是一个“秘密武器”。
另外,OpenAI 还使用反向方法来让 GPT-4 进行自我改进,即让它产生可能会导致偏见、不准确的或者攻击性的回复,然后再借此修复模型,以便让它以后可以自行拒绝这种输入。
虽说 GPT-4 的表现可圈可点,但也并非没有竞品,比如 DeepMind 也有一款大模型 Flamingo;法国公司 Hugging Face 也正在开发一种开源的多模态模型,预计将免费提供给用户。
因此虽说已经遥遥领先,但可以看出 OpenAI 颇有如临大敌之感。面对这样的竞争环境,OpenAI 并没有把 GPT-4 当成一项研究成果,而是作为一次新产品的试水。也正因此,在官宣 GPT-4 的博客文章里,OpenAI 特意展示了 GPT-4 的几个应用案例,比如用于多邻国软件的语言学习、用于冰岛政府的语言保护等。
不过,虽然 GPT-4 和 ChatGPT 的应用场景相当之多,但是当地时间 3 月 16 日,美国版权局发布新规称,通过 Midjourney、Stability AI、ChatGPT 等平台自动生成的作品不受版权法保护。对于 OpenAI 来说,版权问题也将是它接下来不得不面对的事情。
支持:Ren
参考资料:
https://www.technologyreview.com/2023/03/14/1069823/gpt-4-is-bigger-and-better-chatgpt-openai/
https://www.technologyreview.com/2022/12/16/1065005/generative-ai-revolution-art/
https://abcnews.go.com/Technology/video/openai-ceo-cto-risks-ai-reshape-society-97949497
https://www.technologyreview.com/2022/12/16/1065255/sam-altman-openai-lessons-from-dall-e-2/
相关文章
猜你喜欢