记对话

其中， 是全局原则，是各个视觉基础模型，是历史会话记忆， 是这一轮的用户输入，是这轮对话里思考和的历史， 是中间答案，是prompt manager，用于把上面各个功能转化成合理的文本prompt，从而可以交给ChatGPT进行处理。以下图为例进行讲解：

对于用户输入，添加于全局原则prompt，工具描述prompt，历史会话prompt之后，送给ChatGPT进行逻辑推理（Use VFM?）得到推理结果（就是这一次得到的GPT文本输出）。经过正则匹配进行分析，如果工具调用结束，则直接提取总结输出作为最终回复，如果是需要继续调用工具，则将提取到的工具名称、工作参数，输入视觉基础模型，从而得到，置于思考历史 中，进行下一轮推理。或者说喂给GPT的内容为：

第一次问答里，第一个API：

第一次问答里，第二个API:

第一次问答里，第三个API:

第二次问答里，第一个API:

第二次问答里，第二个API:

得到GPT的输出后，正则匹配进行工具的判断和解析，最终决定流程。API调用历史在每次回答后清空，其中只有最后总结性的回复被记录进入对话历史

对于用户输入和工具包输出的后处理，如图。比较神奇的是，右上角的举例里，用ChatGPT自己的口吻来说一些原则（从而让ChatGPT以为是它自己说的，然后顺着说），以及直接让ChatGPT说到"Thought: Do I need a tool"继续生成，能强制进入思考链，从而大幅度降低思考难度。左下角的举例里，对于链式的文件命名，问Visual ChatGPT能不能总结出来文件命名原则，基本总结正确，这说明此种命名方法，确实可以帮助Visual ChatGPT理解文件的内容和依赖关系，生成路径。

开启了ChatGPT处理视觉任务的新大门

NLP --> Natural Language PhotoShop，自然语言文本描述下的图片创作编辑和问答

可以通过系统设计和工具包设计的Prompt，做到无监督的工具调用，类似于zero-shot的toolformer

ChatGPT本身对仿真场景的能力很强，也读过图片路径和函数关系，从而善于使用基础视觉模型

Prompt很重要，作为纯语言模型，前文说它是啥他就仿照啥，除了细致的要求，一定要多夸一夸他，是能力很强的处理模型，那它顺着说，能力才会真的强

Visual ChatGPT本身是一个语言模型，所谓的两方多轮对话只是一个Human: AI: 的多轮特殊形式前文的继续生产，所以，完全可以强行给前文AI: 让ai自己说一些东西出来，是它信了是它自己说的，这能够极大的降低生成难度。这在本篇论文里对几个场景的帮助很大。例如，用户输入图片后，改写为“Human: 上传了一张图片，描述为：{}。注意，这里的描述是帮助你理解图片的，你不能基于它幻想而不调用工具。如果你理解了，就恢复收到。AI：收到。”注意，这里AI回复的收到，并不是真的GPT的生成内容，而是我们强行写入进dialogue history memory的，而且可以发现，AI真的相信了。另外一个点是，在用户的输入后面，挨着的应该是GPT自己的思考内容，如果我们借它的口，自己说“推理信息仅自己可见，需要在最后总结的时候把重要信息复述给读者”，效果比在最前文的prompt里效果好很多，可能是因为距离的原因，也可能是AI自己说出来的原因。另外，可以直接给到"Thought: do i need a tool?"去让GPT继续生成，从而一定进入推理链，可以匹配到远处描述思维链格式的prompt内容，极大的降低思考难度。