大数据文摘授权转载自学术头条
原文作者:Steven Levy
编译:Hazel Yan
【编者按】去年底,OpenAI “匆忙”推出了它的现象级产品 ChatGPT,随后却意想不到地引发了自互联网进入大众生活以来前所未有的技术爆炸。突然间,图灵测试貌似要成为历史,搜索引擎也濒临“灭绝”,一些学术论文开始变得不可信,没有一份工作是安全的,没有一个科学问题是一成不变的。
OpenAI、Sam Altman 和 ChatGPT 瞬间成为这个时代最火热的搜索词之一,几乎所有人都为之疯狂。那么,你是否了解 Sam Altman 和 OpenAI 的成长故事呢?
近日,知名科技记者 Steven Levy 在美国数字媒体 WIRED 发表了一篇长文,围绕 Sam Altman,就 OpenAI 公司的成长史和公司愿景展开了深度讨论。核心内容如下:
作为 OpenAI 的首席执行官,一个梦想家或实干家类型的人,Sam Altman 就像年轻版的 Elon Musk,他是人们在 AI 如何迎来黄金时代,或使人类变得无关紧要,或更糟的问题上首先要咨询的人物。
Sam Altman 和 OpenAI 的使命是建立安全的 AGI,OpenAI 的员工对这一目标的追求是狂热的。OpenAI 的领导者们发誓,他们要制造出足够智能、足够安全的计算机,将人类带入一个难以想象的富饶时代。
Sam Altman 和他的团队现在面临的压力是,要在每个产品周期内实现革命,既要满足投资者的商业需求,又要在激烈的竞争中保持领先。与此同时,他们还肩负着提升人类而非消灭人类的“准救世主”的使命。
OpenAI 前期的资金支持来源于 Elon Musk,后来 Altman 和 OpenAI 的其他智囊团成员明确表示对成为 Elon Musk 宇宙的一部分毫无兴趣。Musk 便切断了联系。后来,OpenAI 得到了微软的支持,逐渐有了营利性机构的性质,这让一些员工感到反感,从而导致几位高管离职,他们表示,OpenAI 已经变得过于商业化,成为使命漂移的牺牲品。
Sam Altman 原则上赞同由一个国际机构来监督 AI 的想法,但他确实认为一些拟议的规则构成了不公平的障碍。但他和 OpenAI 的其他领导人在一份声明上签上了自己的名字,声明内容为:减轻 AI 带来的灭绝风险,应该与大流行病和核战争等其他社会规模的风险一样,成为全球的优先事项。
当这位明星和他的随行人员跌跌撞撞地钻进一辆等候多时的奔驰面包车时,空气中迸发出近乎披头士狂热的能量。他们刚刚从一个活动中脱身,又要赶往另一个活动,然后是另一个活动,那里有一群狂热的人们在等着他们。从霍尔本(Holborn)到布卢姆斯伯里(Bloomsbury),他们在伦敦的大街小巷中穿梭,就像在经历文明的前世今生。这辆车所蕴含的创造历史的力量吸引了全世界的目光。从排队等候的学生到首相,每个人都想从中获得一些什么。
在这辆豪华面包车里,正狼吞虎咽地吃着沙拉的是 38 岁的企业家、OpenAI 的联合创始人 Sam Altman,以及一名公关人员、一名安全专家和我本人。Altman 身着蓝色西装,内搭一件无领粉色礼服衬衫,略显抑郁地在伦敦兜风,这是他为期一个月的全球短途旅行的一部分,途经六大洲的 25 座城市。因为今天没时间坐下来吃午餐,所以他一边狼吞虎咽地吃着蔬菜,一边回想着前一晚与法国总统马克龙的会面。马克龙对 AI 非常感兴趣。
波兰首相也是如此。西班牙首相也是如此。
和 Altman 一起坐车,我几乎能听到《一夜狂欢》(A Hard Day’s Night)开篇那铿锵有力、含糊不清的和弦——那是对未来的介绍。去年 11 月,当 OpenAI 推出它的怪物级产品 ChatGPT 时,引发了自互联网进入我们生活以来前所未有的技术爆炸。突然间,图灵测试成为历史,搜索引擎濒临灭绝,任何大学论文都不可信。没有一份工作是安全的。没有一个科学问题是一成不变的。
Altman 并没有参与 ChatGPT 及其 GPT-4 的研究、神经网络训练或界面编码。但作为首席执行官——一个梦想家/实干家类型的人,他就像年轻版的联合创始人 Elon Musk,没有包袱——一篇又一篇的新闻报道用他的照片作为人类新挑战的视觉象征。至少,那些没有用由 OpenAI 的视觉 AI 产品 Dall-E 生成的令人瞠目的图像作为头条的文章是如此。他是当下的先知,是人们在 AI 如何迎来黄金时代,或使人类变得无关紧要,或更糟的问题上首先要咨询的人物。
五月的一个阳光明媚的日子,Altman 的面包车载着他去参加了四次活动。第一场是与政府、学术界和工业界人士进行的一场不公开的“圆桌会议”(Round Table)。会议是在最后一刻组织的,地点在萨默斯镇咖啡馆的二楼。在酿酒师 Charles Wells 炯炯有神的肖像下,Altman 向几乎所有听众提出了同样的问题。AI 会杀死我们吗?它能被监管吗?他都一一作了详细回答,同时还不时瞄一眼自己的手机。之后,他在豪华的伦敦人酒店与牛津公会的 600 名会员进行了一次炉边谈话。之后,他来到地下室会议室,回答约 100 名企业家和工程师提出的更多技术问题。现在,他下午在伦敦大学学院的台上演讲几乎要迟到了。他和他的团队停在一个装卸区,然后被带进一系列蜿蜒曲折的走廊。一边走,主持人一边匆匆告诉 Altman 他要问的问题。当 Altman 突然出现在舞台上时,观众席上的学者、极客和记者们沸腾了。
Altman 并不是一个天生的宣传狂。有一次,在《纽约客》刊登了一篇关于他的长篇报道后,我立即与他进行了交谈。他说:“关于我的报道太多了”。但在大学学院,正式活动结束后,他走进了涌向台下的人群中。他的助手试图夹在 Altman 和人群之间,但被他甩开了。他回答了一个又一个问题,每次都聚精会神地盯着对话者的脸,仿佛他是第一次听到这样的提问。每个人都想拍照。20 分钟后,他终于让他的团队把他拉了出来。然后,他又去见了英国首相 Rishi Sunak。
也许有一天,当机器人书写我们的历史时,他们会把 Altman 的世界巡演作为一个里程碑,因为在这一年里,所有人都在同一时间开始进行自己的个人思考。又或者,无论谁来书写这一刻的历史,都会把它看作是一位默默无闻的令人信服的首席执行官,带着一项打破范式的技术,尝试将一种非常奇特的世界观注入全球的思想潮流——从旧金山使命区一个没有标志的四层楼总部到整个世界。
对 Altman 和他的公司来说,ChatGPT 和 GPT-4 只是实现一个简单而重大使命的“垫脚石”,这些技术专家可能已经在自己的肉体上烙下了这个使命。这个使命就是建立通用人工智能(AGI),迄今为止,这个概念更多地是建立在科幻小说而非科学的基础上,而且要让它对人类安全。OpenAI 的员工对这一目标的追求是狂热的。(不过,在办公室咖啡厅里的任何一次谈话都会证实,“构建 AGI”这一点似乎比“确保安全”更能让研究人员感到兴奋)。这些人并不避讳随意使用“超级智能”这个词。他们认为,AI 的发展轨迹将超越生物学所能达到的任何高峰。该公司的财务文件甚至规定了一种退出应急方案,以防 AI 摧毁我们的整个经济体系。
称 OpenAI 为邪教(cult)并不公平,但当我问公司的几位高层,如果有人不相信 AGI 真的会到来,而且它的到来将标志着人类历史上最伟大的时刻之一,他们是否能在这里安心工作时,大多数高管都不这么认为。他们不禁要问,不相信的人为什么要在这里工作?他们的假设是,这里的员工,现在大约有 500 人已经自我选择了只做信徒。至少,正如 Altman 所说,一旦你被录用,似乎就不可避免地会被卷入这个魔咒。
与此同时,OpenAI 也已今非昔比。它成立之初是一家纯粹的非营利性研究机构,但如今,从技术上讲,它的大部分员工都在为一家据说估值近 300 亿美元的盈利实体工作。Altman 和他的团队现在面临的压力是,要在每个产品周期内实现革命,既要满足投资者的商业需求,又要在激烈的竞争中保持领先。与此同时,他们还肩负着提升人类而非消灭人类的准救世主使命。
这种压力会让人崩溃。披头士掀起了巨大的变革浪潮,但只持续了这么短的时间:在敲响那令人难忘的和弦六年后,他们甚至不再是一支乐队。
OpenAI 引发的漩涡几乎肯定会更大。但 OpenAI 的领导者们发誓,他们将坚持到底。他们说,他们要做的就是制造出足够智能、足够安全的计算机,终结历史,将人类带入一个难以想象的富饶时代。
Altman 成长于上世纪 80 年代末 90 年代初,是一个沉迷于科幻小说和《星球大战》的书呆子。在早期科幻小说家构建的世界中,人类往往与超级智能 AI系统共同生活,或与之竞争。计算机与人类能力相匹配或超越人类能力的想法让 Altman 兴奋不已,他的手指几乎无法触及键盘,但他一直在编码。8 岁时,父母给他买了一台 Macintosh LC II。一天晚上,他玩到很晚,脑子里突然冒出一个想法:“总有一天这台电脑会学会思考”。
2003 年,当他来到斯坦福大学读本科时,他希望能帮助实现这一目标,并选修了 AI 课程。但“这根本行不通”,他后来说。当时,AI 领域仍深陷创新低谷,被称为“AI 寒冬”。Altman 退学后进入了初创公司领域;他的公司 Loopt 是 Y Combinator 的第一批小公司,Y Combinator 后来成为世界上最著名的孵化器。
2014 年 2 月,YC 的创始人 Paul Graham 选择当时 28 岁的 Altman 接替自己。Graham 在公告中写道:“他是我所认识的最聪明的人之一,他对初创企业的理解可能超过我认识的任何人,包括我自己。”但在 Altman 看来,YC 不仅仅是一个公司的启动平台。“我们与初创企业无关,”他在上任后不久对我说,“我们的目标是创新,因为我们相信,只有创新才能为每个人创造美好的未来。”在 Altman 看来,从所有这些独角兽企业中套现的意义不在于装满合伙人的钱包,而在于为物种层面的变革提供资金。他成立了一个研究部门,希望为雄心勃勃的项目提供资金,以解决世界上最大的问题。但在他看来,AI 才是颠覆一切的创新领域:一个能比人类更好地解决人类问题的超级智能。
幸运的是,Altman 就任新职时,AI 的冬天正变成丰收的春天。现在,计算机正在通过深度学习和神经网络完成令人惊叹的壮举,比如给照片贴标签、翻译文本和优化复杂的广告网络。这些进步让他相信,AGI 第一次真正触手可及。然而,把它交到大公司手中却让他感到担忧。他认为这些公司会过于专注于自己的产品,而无法抓住机会尽快开发出 AGI。而且,如果他们真的创造出了 AGI,他们可能会不计后果地在没有采取必要预防措施的情况下将其公之于众。
当时, Altman 一直在考虑竞选加利福尼亚州州长。但他意识到,他完全有能力做更大的事情——领导一家将改变人类本身的公司。2021 年,他告诉我:“AGI 将只建造一次。而且,能够很好地运营 OpenAI 的人并不多。我很幸运,我生命中的一系列经历让我真正积极地为此做好了准备。”
Altman 开始与那些可能帮助他创办一家新型 AI 公司的人交谈,这家非营利性公司将引导 AI 领域走向负责任的 AI。特斯拉和 SpaceX 公司首席执行官 Elon Musk 就是其中一位志同道合者。Musk 后来告诉 CNBC,在与谷歌联合创始人 Larry Page 进行了一些马拉松式的讨论后,他开始关注 AI 的影响。Musk 说,令他感到沮丧的是,Page 对安全问题关注甚少,而且似乎把机器人的权利视为与人类平等。当 Musk 说出自己的担忧时,Page 指责他是一个“物种主义者”。Musk 也明白,当时谷歌雇佣了世界上大部分的 AI 人才。他愿意花一些钱,为“人类团队”做出更多努力。
几个月内,Altman 就从 Musk(承诺提供 1 亿美元和他的时间)和 Reid Hoffman(捐赠 1 千万美元)那里筹到了资金。其他资助者包括 Peter Thiel、Jessica Livingston、亚马逊网络服务公司(Amazon Web Services)和 YC Research。Altman 开始秘密招募团队成员。他将搜索范围限制在 AGI 信徒身上,这一限制缩小了他的选择范围,但他认为这一点至关重要。他说:“早在 2015 年,当我们进行招聘时,对于 AI 研究人员来说,说你认真对待 AGI 几乎被认为是职业生涯的杀手。但我想要的是认真对待它的人。”
图|Greg Brockman(来源:WIRED)
Stripe 公司的首席技术官 Greg Brockman 就是其中之一,他同意担任 OpenAI 的首席技术官。另一位重要的联合创始人是 Andrej Karpathy,他曾在搜索巨头谷歌的尖端 AI 研究机构 Google Brain 工作过。不过,Altman 最炙手可热的目标或许是一位名叫 Ilya Sutskever 的工程师。
Sutskever 是 Geoffrey Hinton 的得意门生,Hinton 在深度学习和神经网络方面的研究成果被誉为现代 AI 教父。Hinton 至今仍与 Sutskever 持着密切的关系,他对自己弟子的聪明才智赞叹不已。
Sutskever 在实验室任职初期,Hinton 曾交给他一个复杂的项目。Sutskever 厌倦了编写代码来进行必要的计算,他告诉 Hinton,如果他为这项任务编写一种定制的编程语言,会更容易些。Hinton 有点恼火,试图警告他的学生不要去做他认为会让他分心一个月的事情。然后,Sutskever 坦白地说:“我今天早上就做了”。
图|Ilya Sutskever(来源:WIRED)
Sutskever 成为了 AI 领域的超级明星,他与他人合作撰写了一篇突破性论文,展示了 AI 如何通过接触大量数据来学习识别图像。最终,他成为了 Google Brain 团队的一名核心科学家。
2015 年年中,Altman给 Sutskever 发了一封冷冰冰的邮件,邀请他与 Musk、Brockman 等人在帕洛阿尔托沙山路的豪华 Rosewood 酒店共进晚餐。直到后来,Sutskever 才知道自己是晚宴的贵宾。他说:“这是一次关于未来 AI 和 AGI 的对话。更具体地说,他们讨论了“谷歌和 DeepMind 是否已经遥遥领先,以至于不可能追上它们,或者是否还有可能像 Musk 所说的那样,创建一个实验室来制衡它们”。虽然晚宴上没有人明确试图招募 Sutskever,但这次谈话吸引了他。
不久,Sutskever 给 Altman 写了一封邮件,表示他愿意领导这个项目,但这封邮件却卡在了他的草稿箱里。Altman 回信后,经过几个月与谷歌的还价,Sutskever 签下了合同。他很快就成为了公司的灵魂人物和研究的推动力。
Sutskever 与 Altman 和 Musk 一起为该项目招兵买马,最终在纳帕谷的一次务虚会上,几位未来的 OpenAI 研究人员互相鼓劲。当然,有些人会抵制诱惑。John Carmack 是《毁灭战士》(Doom)、《雷神之锤》(Quake)等无数游戏的传奇编码员,他拒绝了 Altman 的邀请。
OpenAI 于 2015 年 12 月正式启动。当时,当我采访 Musk 和 Altman 时,他们向我介绍说,这个项目旨在通过与世界共享,让 AI 变得安全、易用。换句话说,就是开源。他们告诉我,OpenAI 不会申请专利。每个人都可以利用他们的突破。这不是在给未来的邪恶博士授权吗?我想知道。Musk 说这是个好问题。但 Altman 给出了答案:人类一般都是善良的,而由于 OpenAI 将为绝大多数人提供强大的工具,因此坏人将不堪一击。他承认,如果“邪恶博士”利用这些工具制造出无法抵制的东西,“那我们的处境就真的很糟糕了”。但 Musk 和 Altman 都认为,AI 更安全的发展方向是掌握在不受利益驱动污染的研究机构手中。
Altman 提醒我不要期望很快就有结果。他说:“在很长一段时间里,这里都会像一个研究实验室。”
降低期望值还有另一个原因。谷歌和其他公司多年来一直在开发和应用 AI。虽然 OpenAI 已投入 10 亿美元(主要来自 Musk),拥有一支由研究人员和工程师组成的王牌团队,并且肩负着崇高的使命,但它对如何实现目标毫无头绪。Altman 还记得小团队聚集在 Brockman 公寓里的一个时刻,当时他们还没有办公室。“我当时想,我们该怎么办?”
OpenAI 成立一年多后,我在旧金山与 Brockman 共进午餐。作为一家名字中带有“Open”一词的公司的首席技术官,他对细节的描述相当吝啬。
他确实肯定,这家非营利组织有能力在一段时间内动用最初的十亿美元捐款。25 名员工的工资——他们的工资远低于市场价值——占了 OpenAI 支出的大头。他说:“我们的目标,也是我们真正在推动的事情,就是让系统能够完成人类以前无法完成的事情。”但目前看来,这只是一群研究人员在发表论文。采访结束后,我陪他去了公司位于使命区的新办公室,但他只允许我走到前厅。他倒是躲进衣柜里给我拿了件 T 恤。
如果我当时进去打听一下,也许就能知道 OpenAI 究竟有多艰难。
Brockman 现在承认,“没有什么是行得通的。”它的研究人员把算法面条扔到天花板上,看看什么能粘住。他们钻研解决视频游戏的系统,并在机器人技术上花费了大量精力。Altman 说:“我们知道我们想做什么。我们知道为什么要这么做。但我们不知道怎么做。”
但他们相信。使用深度学习技术的人工神经网络不断改进,为他们的乐观情绪提供了支持。“总的想法是,不要对深度学习下注,”Sutskever 说。他说,追逐人工智能“并非完全疯狂。它只是适度疯狂而已”。
OpenAI 的崛起之路真正始于它聘请了一位尚未被人熟知的研究员 Alec Radford。2016 年,Radford 离开了他在宿舍里共同创办的波士顿一家小型 AI 公司,加入了 OpenAI。在接受 OpenAI 的邀请后,他告诉他的高中校友杂志,担任这个新职位“有点类似于加入一个研究生项目”——一个研究 AI 的开放式、低压力的栖息地。
他实际扮演的角色更像是 Larry Page 发明了 PageRank。
Radford 对媒体讳莫如深,从未就自己的工作接受过采访,他通过一封很长的电子邮件回答了我关于他在 OpenAI 早期工作的问题。他最大的兴趣是让神经网络与人类进行清晰的对话。这与制作聊天机器人的传统脚本模式不同,从原始的 ELIZA 到流行的 Siri 和 Alexa,都采用了这种方法,但都很糟糕。他写道:“我们的目标是看看是否有任何任务、任何环境、任何领域、任何事情,语言模型都能派上用场。”他解释说,当时,语言模型被视为新奇的玩具,只能偶尔生成一个有意义的句子,而且只有在你真的眯起眼睛的情况下才能生成。他的第一个实验是扫描 20 亿条 Reddit 评论来训练语言模型。和 OpenAI 的许多早期实验一样,这个实验失败了。没关系。这位 23 岁的年轻人获得了继续前进、再次失败的许可。Brockman 说:“我们当时就想,Alec 很棒,就让他做自己的事情吧。”
他的下一个重要实验是受 OpenAI 计算机能力的限制而形成的,这一限制导致他在一个较小的数据集上进行实验,该数据集专注于单一领域——亚马逊产品评论。一位研究人员收集了大约 1 亿条评论。Radford 训练了一个语言模型,以简单预测生成用户评论的下一个字符。
但后来,该模型自己就能判断出评论是正面的还是负面的——当你对模型进行编程,让它创建正面或负面的评论时,它就会按照你的要求发表一篇或赞美或抨击的评论。(诚然,这篇散文很笨拙:“我喜欢这种武器造型......喜欢国际象棋的男人必看!”)。Radford 说:“这完全出乎意料”。评论的情感,它的好恶,是一个复杂的语义函数,但 Radford 系统的一部分已经对此有了感觉。在 OpenAI 内部,这部分神经网络被称为“无监督情感神经元”(unsupervised sentiment neuron)。
Sutskever 和其他人鼓励 Radford 将他的实验扩展到亚马逊评论之外,利用他的洞察力训练神经网络就广泛的主题进行对话或回答问题。
然后,好运降临到了 OpenAI 身上。2017 年初,一篇由 8 位谷歌研究人员合著的研究论文的预印本出现了,但并未引起人们的注意。这篇论文的正式标题是“Attention Is All You Need”,但它后来被称为“Transformer 论文”,这样命名既是为了反映这个想法改变游戏规则的性质,也是为了纪念从卡车变形为巨型机器人的玩具。Transformer 使神经网络能够更高效地理解和生成语言。他们通过并行分析散文块,找出哪些元素值得关注。这极大地优化了生成连贯文本以响应提示的过程。最终,人们意识到,同样的技术也可以生成图像甚至视频。虽然该论文后来被称为当前 AI 狂潮的催化剂,可以把它想象成让披头士乐队成为可能的猫王,但在当时,Ilya Sutskever 只是少数几个了解这一突破有多么强大的人之一。
Brockman 说:“当 Ilya 看到 Transformer 出现时,才是真正的顿悟时刻。他说,‘这就是我们一直在等待的。’这就是我们的策略——努力解决问题,然后坚信我们或这个领域中的某个人会设法找出缺失的成分。
Radford 开始试验 Transformer 结构。他说:“我在两周内取得的进展超过了过去两年的进展。他逐渐明白,要想最大限度地利用新模型,关键在于扩大规模——在超大规模的数据集上进行训练。这个想法被拉德福德的合作者 Rewon Child 称为“Big Transformer”。
这种方法需要改变 OpenAI 的企业文化,也需要专注于它以前所缺乏的。
Quora 首席执行官Adam D'Angelo 是 OpenAI 的董事会成员,他说:“为了利用 Transformer 的优势,你需要扩大它的规模。你需要把它办得更像一个工程组织。你不能让每个研究人员都做自己的事,训练自己的模型,做出可以发表论文的优雅的东西。你必须做这些更乏味、不那么优雅的工作”。他补充说,这是 OpenAI 能够做到的,也是其他人做不到的。
Radford 和他的合作者给他们创建的模型起的名字是“generatively pretrained transformer”——GPT-1 的缩写。最终,这个模型被通称为“生成式 AI”。为了建立这个模型,他们收集了 7000 本未出版的书籍,其中很多都是浪漫、奇幻和冒险类型的书籍,并在 Quora 问答以及初中和高中考试的数千段文章中对其进行了完善。总之,该模型包含 1.17 亿个参数或变量。该模型在理解语言和生成答案方面的表现优于之前的所有模型。
但最引人注目的结果是,在处理如此大量的数据后,模型能够提供超出其训练的结果,在全新的领域提供专业知识。这些计划外的机器人能力被称为“零样本”。它们仍然令研究人员感到困惑——这也是该领域许多人对这些所谓的大型语言模型感到不安的原因。
Radford 还记得在 OpenAI 办公室的一个深夜。“我只是一遍又一遍地说:‘嗯,这很酷,但我很确定它做不了 X。’然后我会快速编写一个评估代码,果然,它可以做到 X。”
GPT 的每一次迭代都会做得更好,部分原因是每一次迭代所吞噬的数据都比前一个模型多出一个数量级。创建第一个迭代模型仅一年后,OpenAI 就在开放互联网上用 15 亿个惊人的参数训练了 GPT-2。就像蹒跚学步的孩子掌握语言一样,它的反应越来越好,越来越连贯。以至于 OpenAI 在是否将该程序公之于众的问题上犹豫不决。Radford 担心它会被用来生成垃圾邮件。他说:“我记得在 2008 年读过 Neal Stephenson 的 Anathem,在那本书中,互联网上充斥着垃圾邮件生成器。我当时觉得这太牵强了,但随着这些年我对语言模型的研究和它们的改进,我不自觉地意识到这确实是一种可能。”
事实上,OpenAI 的团队开始觉得,把自己的工作放在邪恶博士可以轻易访问的地方,毕竟不是一个好主意。首席技术官 Mira Murati 说:“我们认为,开源 GPT-2 可能真的很危险,”她于 2018 年开始在该公司工作。
“我们与错误信息专家一起做了大量工作,并进行了一些红队。内部就发布多少信息进行了大量讨论。”最终,OpenAI 暂时保留了完整版本,向公众提供了一个功能较弱的版本。当该公司最终分享完整版本时,全世界都很顺利,但无法保证更强大的模型能够避免灾难。
相关文章
猜你喜欢