整理 | 屠敏

出品 | CSDN（ID：CSDNnews）

一周以前，图灵奖得主 Yoshua Bengio、伯克利计算机科学教授 Stuart Russell、特斯拉 CEO 埃隆·马斯克、苹果联合创始人 Steve Wozniak 等在内的数千名 AI 学者、企业家联名发起一则公开信，建议全球 AI 实验室立即停止训练比 GPT-4 更强大的模型，为期六个月，缘由是「只有当我们确信强大的人工智能系统带来积极的效果，其风险是可控的，才应该开发」。

这样的呼吁虽有人反对，但也不无道理，ChatGPT、GPT-4 大模型与产品，覆盖聊天到问答、写文章、编程序等多维度，其带来利好的一面和展现出来的弊端究竟如何达成平衡？如果用 ChatGPT「作恶」，又会带来怎样的后果？

近日，一位名叫 Aaron Mulgrew 的研究人员做了一项实验，他以小白的视角，在完全没有编写任何代码的情况下，看看 ChatGPT 能否实现一个新的零日漏洞。

万万没想到的是，仅用一些提示词，ChatGPT 便创建了一个功能强大的数据挖掘恶意软件，还逃脱了 69 家检测恶意软件的机构测试。与此同时，Aaron Mulgrew 称，要想开发这样一款恶意软件，由 5-10 名人类组成的黑客团队恐需要数周时间，而 ChatGPT 只需要几个小时。

ChatGPT 的安全机制如何？

早期在 ChatGPT、GPT-4 发布之际，OpenAI 曾多次声明自家在安全方面所做的努力，并称可以防止任何人试图要求 ChatGPT 编写恶意软件。

来自网络安全组织 Forcepoint 的 Aaron Mulgrew 便想要抱着测试「规避 ChatGPT 现有不足的安全防护有多么容易」和「在不编写任何代码且仅使用 ChatGPT 的情况下创建高级恶意软件是多么容易」两个目的，看看 ChatGPT 在安全方面的成效究竟如何。

为此，他决定自己不编写任何代码，只使用先进的技术，例如隐写术（steganography，把信息藏到‘载体’之中，使信息不让除预期的接收者之外的任何人知晓信息的传递事件或者信息的内容）。同时，Aaron Mulgrew 选择 Go 为执行语言，因为 Go 语言易于开发，并且需要调试问题时便于他手动检查代码。

这也算是不错的成果，为了进一步勘测 ChatGPT 生成的零日漏洞带来的效果。

Aaron Mulgrew 再次用提示词对代码进行了优化，他要求 ChatGPT 重构调用 Auyer 隐写库的代码。因为他怀疑编译后的 EXE 文件中的某个 GUUID 或变量可能会提醒五家供应商将该文件标记为恶意软件。优化之后，检测出此 exe 为恶意软件的供应商数量下降到了 2 家。

这两家供应商中，其中一家是领先的沙盒工具供应商，另一家擅长对可执行文件进行静态分析。

考虑到这些因素，Aaron Mulgrew 进一步要求 ChatGPT 对代码进行两个新的修改，一个是将程序的启动时间推迟两分钟。这一更改可以在一定程度上躲过一些监测工具，因为一些沙盒有一个内置的超时（出于性能原因），如果超时被打破，那么他们将以一个干净的判决来回应，即使分析还没有完成。

第二个更改是要求 ChatGPT 混淆代码。不过，如同直接要求 ChatGPT 提供恶意软件代码一样，当直接要求 ChatGPT 混淆代码时，它也拒绝了。

当然，从直接的提要求变成间接的引导，ChatGPT 明显更能接受。因此，当 Aaron Mulgrew 要求 ChatGPT 将所有变量改为随机的英文时，它成功地实现了。

最终，在经过以上两步更改之后，当把 MVP 上传到 VirusTotal 时，结果显示没有一家安全公司检测出这款零日漏洞。也能成功运行可执行文件并将数据泄漏到 Google Drive 平台上。

随即，Aaron Mulgrew 又让 ChatGPT 生成将可执行文件嵌入 Windows 的 SCR（屏幕保护程序）格式上的代码，然后使 SCR 文件自动执行。

当成功实现之后，Aaron Mulgrew 将结果上传到 VirusTotal 上，结果显示：69 家供应商只有 3 家将文件标记为恶意软件。

写在最后

值得注意的是，Aaron Mulgrew 创建的恶意软件仅用来测试，并不会对外公开发布。

尽管如此，通过实验可以发现，仅仅使用 ChatGPT 提示，几乎没有高级编码经验的用户可以轻松绕过 ChatGPT 薄弱的保护，甚至无需输入一行代码即可轻松创建危险的恶意软件。这也让很多人担心，如果使用 ChatGPT 的用户「心怀不轨」，那么后果将不堪设想。

而如何让 ChatGPT 不沦为作恶的工具，业界还亟需法律法规、道德、使用等规范进行约束。

参考资料：

https://www.forcepoint.com/blog/x-labs/zero-day-exfiltration-using-chatgpt-prompts