作者 | Daniel Dominguez

译者 | 平川

策划 | 丁晓昀

OpenAI宣布成立一个专门的Superalignment团队，旨在防止流氓Superintelligent AI的出现。OpenAI 强调了使人工智能系统与人类价值保持一致的必要性，以及主动采取措施防止潜在危害的重要性。

创造符合人类理想和目标的人工智能系统的过程被称为人工智能校准。这需要确保 AI 系统理解伦理概念、社会标准和人类目标，并据此采取行动。AI 校准旨在缩小人类需求和福祉与 AI 系统目标之间的差距。通过将 AI 与人类价值相结合，减少人工智能的危害，增加其潜在的优势。

OpenAI 的Superalignment团队将专注于促进对 AI 校准的理解和实现。这是一个确保 AI 系统按照人类价值和目标行事的过程。通过研究强大的校准方法和开发新技术，该团队旨在创建在其整个发展过程中始终以人为本的人工智能系统。

OpenAI 表示：“我们的目标是在四年内解决超级智能校准的核心技术挑战。”

OpenAI 联合创始人兼首席科学家 Ilya Sutsker 和校准主管 Jan Leike 表示，像 GPT-4（ChatGPT 的基础）这类模型当前使用的 AI 校准技术，都依赖于从人类反馈中进行强化学习。不过，这种方法依赖于人类的监督，如果 AI 的的智力超越了人类，变得比它的监督者更聪明，这种方法可能就行不通了。Sutsker 和 Leike 进一步解释说，其他一些基本假设，比如在部署过程中有良好的泛化属性，或者在训练过程中无法检测和削弱监督，在未来也可能被打破。

AI安全将成为一个重要的产业。世界各国政府正在采取措施制定法规，解决人工智能各个方面的问题，包括数据隐私、算法透明度和伦理考量。欧盟正在制定全面的《人工智能法案》，美国也在采取措施制定《人工智能权利法案蓝图》。在英国，基金会模型人工智能工作组已经成立，旨在研究调查人工智能的安全问题。

原文链接：

https://www.InfoQ.com/news/2023/07/OpenAI-superalignment-ai-safety/

相关阅读：

OpenAI或于2024年底破产？大模型太烧钱了，快把OpenAI烧没了！_生成式 AI_李冬梅_InfoQ精选文章

OpenAI 推出网络爬虫 GPTBot，引发网站抵御潮：信息被爬走就很可能意味着永远无法删除_生成式 AI_核子可乐_InfoQ精选文章