克雷西 发自 凹非寺

量子位 | 公众号 QbitAI

这个GitHub新项目，能让ChatGPT完成复杂任务，GPT3.5和GPT-4都支持。

它通过将问题拆解，并调用外部资源，提高了GPT的工作能力。

在它的调教下，GPT-4回答的准确率从68%提高到了85%。

而经过SmartGPT调教之后，不仅得到了正确答案，还指出了此前的思路为什么会出错。

第一轮，GPT-4给出的答案是……孙悟空。

经过调教之后，GPT-4终于发现了三个选项都是错误的。

同时还指出了孙悟空虽然没有倒拔垂杨柳但是有相似的情节。

（《西游记》第二十五回中，孙悟空在五庄观因愤怒将人参果树拔倒）

需要说明的是，由于没有GPT-4的API，测试是按照开发者介绍的方法手工完成的。

当然了，个例并不能说明它的表现，还是要用数据集测试一下。

开发者使用了MMLU数据集分别对调教前后的GPT-4进行了测试。

结果显示，未经调教的版本只答对了68%，而调教后的版本答对了85%。

顺便提一句，真人专家在测试中的平均成绩是89.8%。

△ SmartGPT工作流程图

在用户输入完指令后，SmartGPT对其进行处理拆分，包括添加“let’s think step by step”类似的表述。

然后它会将处理好的指令传至GPT的API，并重复多次获取不同的答案。

接着，SmartGPT会向API发送要求其回溯答案并选择最优解的指令。

最后，将GPT自己选择的最佳答案展示给用户。

上述步骤受到了三篇学术论文的启发（图中白框）。

这三篇论文的内容分别关于“链式提示方式”、“动态记忆及让LLM自我回溯”和“用对话提高LLM完成度”。

AutoGPT等工具同样可以用来优化GPT，SmartGPT比它们好在哪里呢？

由于其工作原理是将任务进行拆分，会形成逻辑链条，因此SmartGPT拥有更强大的推理能力。

实用性方面，SmartGPT由独立的子模块组成，使用者可以对它们进行任意排列、组合和删改。

此外，无论对于用户还是开发人员，SmartGPT的配置过程都更为简单。

不过开发者也坦言，这个项目刚推出不久，因此稳定性有待考证，在内存优化方面还有所欠缺，消耗的环境资源也更多。

在项目推出之后，有网友表示我们低估了GPT的潜力，甚至包括OpenAI自己。

那么，你期待GPT未来的表现吗？

SmartGPT目前暂无开箱可用版本，需要自行在Linux环境搭建，动手能力强的读者可根据下面的项目页面中的指示体验：

项目地址：https://github.com/Cormanz/smartgpt

项目涉及到的论文：[1]. https://arxiv.org/abs/2305.02897[2]. https://arxiv.org/abs/2303.11366[3]. https://arxiv.org/abs/2303.17071

参考链接：[1]. https://www.youtube.com/watch?v=wVzuvf9D9BU[2]. https://www.reddit.com/r/singularity/comments/13axo1r/gpt_4_is_smarter_than_you_think_introducing/

— 完 —

量子位 QbitAI · 头条号签约

关注我们，第一时间获知前沿科技动态