图源：https://community.openai.com/t/a-question-on-determinism/8185
现在，一位名为 Sherman Chann 的开发者在个人博客中详细分析了这个问题，并表示：「GPT-4 生成结果的不确定性是由稀疏 MoE 引起的」。
在 Sherman Chann 注意到 logit_bias 问题之前，还得到了如下结果（max_tokens=256）：
一位支持 Sherman Chann 的假设的开发者说道：「GPT-3.5-Turbo 可能就是 OpenAI 为 GPT-4 构建的小型测试模型」。
还有开发者分析道：「按照 Soft MoE 论文的说法，稀疏 MoE 不仅引入了不确定性，还可能会使模型的响应质量取决于有多少并发请求正在争夺专家模块的分配」。
对此，你怎么看？
参考链接：
相关文章
关于作者
猜你喜欢
