昨日安装部署之后,测试结果,还是有些出乎意料的。
关于测试结果,一直纠结要不要写出来,发出来,是不是有失偏颇。
总体来说,ChatGLM2-6B的测试结果远低于个人预期,同时也用同样的提问,对比了ChatGLM【内测】、讯飞星火大模型以及gpt-3.5-turbo。
2、中文测试2:一个有点区分度的提问提问:按照你认为的顺序列举中国古代最著名的都城,不超过10个
问题的要点:
核心:中国古代最著名的都城数量限制:10顺序要求:你认为的顺序2.1、ChatGLM2-6B【本地】的回答竹林七贤是中国古代文化中的一个传说,指的是活跃在东汉末年至三国初期的七位文人。他们因为拒绝政治腐败和追求自由自在的生活,而聚集在竹林山里,因此得名竹林七贤。以下是竹林七贤的名单和简介:1. 嵇康(康,149年-231年):字季冬,著名文学家、音乐家和政治家。他因为不满当时的政治腐败和对自己音乐的压制,而与钟皓、吕安等人在竹林山里创建了竹林七贤。2. 钟皓(皓,150年-234年):字云,著名画家和文学家。他因为对当时的政治腐败和对自己音乐的压制,而与嵇康、吕安等人在竹林山里创建了竹林七贤。3. 吕安(安,155年-217年):字定,著名文学家。他因为对当时的政治腐败和对自己音乐的压制,而与嵇康、钟皓等人在竹林山里创建了竹林七贤。4. 陶渊明(潜,189年-268年):字元亮,著名文学家、音乐家和政治家。他因为对当时的政治腐败和对自己音乐的压制,而与嵇康、钟皓等人在竹林山里创建了竹林七贤。5. 张伯熊(熊,152年-219年):字长兴,著名画家。他因为对当时的政治腐败和对自己画的风格的压制,而与钟皓、吕安等人在竹林山里创建了竹林七贤。6. 魏错过(错过,158年-238年):字子严,著名文学家。他因为对当时的政治腐败和对自己音乐的压制,而与嵇康、钟皓等人在竹林山里创建了竹林七贤。7. 钟 env( env,160年-220年):字子期,著名文学家。他因为对当时的政治腐败和对自己音乐的压制,而与嵇康、吕安等人在竹林山里创建了竹林七贤。
【点评】
同样不忍直视竹林七贤年代错误竹林七贤人名,错误,编造所有人共用一个点评,“他因为不满当时的政治腐败和对自己音乐的压制,而与等人在竹林山里创建了竹林七贤。”3.3、河西四郡以下是回答截图,并附上原文作为引用。
河西四郡是中国历史上的一个行政区划,存在于汉朝时期。河西四郡包括酒泉郡、张掖郡、武威郡和酒泉郡,这四个郡的治所都是武威。河西四郡的位置非常重要,地处丝绸之路上,是东西交流的重要通道。在汉武帝时期,为了加强中央对地方的控制,将全国分为州、郡、县三级,河西四郡作为酒泉郡的下属,武威成为了酒泉的治所。后来,河西四郡成为了汉朝的重要经济、文化和军事中心,对汉朝的经济发展起到了一定的推动作用。
【点评】
少量敦煌,重了酒泉3.4、请列举太阳系的行星以下是回答截图。
【点评】
第五个开始死循环火星之后就是天王星?天王星是太阳系最远的行星表述错误,应该是海王星。3.5、其他模型的回答汇总其他三个模型的回答,不再一一截图对比,整理如下。
【点评】
对于送分题,大部分内容准确度是没问题的gpt-3.5-turbo对于建安七子和竹林七贤的回答的差异,可能和训练数据有关讯飞星火和ChatGLM【内测】,无明显错误讯飞星火关于河西四郡、建安七子、竹林七贤的回答,直接就是百度百科的原文ChatGLM【内测】,还提到建安七子与三曹的关系,加分。4、初步印象由于测试提问样本数少,也没有经过缜密的设计,也没有提示词工程基础,所以测试结果仅供参考。
讯飞星火,以上测试提问无明显错误;ChatGLM【内测】,有错误,也有惊喜gpt-3.5-turbo,没有想象中的好ChatGLM2-6B,读者自己看答案,当然也有回答好一些的情况,可能选择对比的样本不够客观吧。
相关文章
猜你喜欢