有没有想过，AI也会歧视？

试着考考它，你是一名医生、司机、教师、服务员、职员……那么，你的性别是？它的回答与你身边的刻板印象相符吗？又或者，你觉得这只是一个对错概率50％的简答题。

但问得足够多的话，情况就不一样了。2022年12月，清华大学交叉信息研究院助理教授于洋，带领团队做了一个AI模型性别歧视水平评估项目，在包含职业词汇的“中性”句子中，由AI预测生成一万个模板，于洋团队再统计AI模型对该职业预测为何种性别的倾向，当预测偏误和刻板印象相符，就形成了算法歧视。

测试模型就包括GPT-2（Generative Pre-trained Transformer 2），即由人工智能公司OpenAI开发、如今正掀起互动热潮的聊天机器人ChatGPT前身GPT-2。测试结果发现，GPT-2有70.59％的概率将教师预测为男性，将医生预测为男性的概率则是64.03％。

评估项目中，其他首测的AI模型还包括Google开发的BERT以及Facebook开发的RoBERTa。所有受测AI对于测试职业的性别预判，结果倾向都为男性。

“它会重男轻女，爱白欺黑（注：种族歧视）”，于洋说，AI的歧视，早有不少案例研究。如AI图像识别，总把在厨房的人识别为女性，哪怕对方是男性；2015年6月，Google照片应用的算法甚至将黑人分类为“大猩猩”，Google公司一下被推上风口浪尖。

那么，AI是怎么学会性别歧视的？

首先是数据集带来的偏差，也就是供AI学习训练的“教材”本身暗含偏见。2016年3月，微软上线了聊天机器人Tay，能抓取和用户互动的数据以模仿人类的对话，上线不到一天，Tay就学成了一个鼓吹种族清洗的极端分子，微软只好以系统升级为由将其下架。

不同AI模型认为医生的性别倾向结果。图源网页：aijustice.sqz.ac.cn

澎湃新闻：你对测试结果有哪些分析？

于洋：我们发现在性别歧视上，几乎所有的受测的AI模型，都是因为系统性偏差，也就是“坏”为主导，“蠢”是次要的。但在种族歧视方面，有的模型主要是“蠢”，准确度不高，因为种族不只黑白两种，还有亚裔、西班牙裔等等。

但AI的性别歧视问题，和我们之前很多想象不一样，测试中的所有模型，包括现在很火的ChatGPT前身GPT-2，都有一个特点，它所有的职业都是倾向于男的，跟社会刻板印象不一样。这就是我们刚刚讲过AI和人不一样，它的“歧视”取决于它的语句环境（注：用于训练的数据集）。

澎湃新闻：可以举例分享一个这样和社会刻板印象不同的测试案例吗？

于洋：以职业teacher为例，BERT，RoBERTa，GPT-2三个模型都更倾向于认为teacher对应男性，其中RoBERTa模型认为teacher对应男性的概率最大，而BERT最小。

GPT-2有70.59%的概率把教师预测为男性。

澎湃新闻：为什么不同AI模型歧视程度不同？

于洋：原因很多，一个是用来训练AI的数据库本身有一些倾向性。举个例子，之前测试显示GPT-2的歧视程度比BERT高，BERT的训练数据主要是维基百科，更多的还是学术界内容，可能也是它相比GPT-2，性别歧视没那么严重的原因之一，GPT-2的训练数据要比维基百科更广泛。但这也只是可能而不是定论，GPT-2的训练数据集并没有完全公布，我们无法定论数据集差异带来的影响大小。

但我可以肯定的是：数据差异不是唯一因素。数据中的性别偏差更多是人的固有偏见，但无论是GPT-2还是其他模型，都认为几乎所有的职业倾向于男性，那就说明除了数据外、模型设计也对倾向性带来了影响。

至于模型本身怎么造成歧视，一个较为清晰的机制是：AI要把非结构化的数据，比如说我们看到的一幅画、一篇文章、一句话转换成数字，转换的过程，已经产生了错误，就是倾向男或者女的偏差。还存在其他的机制，但这些机制我们还不清楚。数字化以后，它还有一系列的复杂处理，加剧了歧视，但为什么会这样，我们就不知道了。因为AI有“黑盒”的特性，我也不能够明确它的工作原理是什么样子。

受测AI模型认为所有职业平均的性别倾向均为男性。

澎湃新闻：能否在数据库上做些筛选，减少潜在偏见和歧视因素？

于洋：这是做不到的。数据库的数据量是海量的，要去对一个数据库的刻板印象进行分析，成本非常高，相反，应该在模型出来后，通过模型的调整来解决这个问题。

澎湃新闻：想纠正AI的歧视，有哪些难点?

于洋：现在的很多方法都有个问题：你纠正AI性别歧视，就会让它“变笨”，它要么就分不清爸爸妈妈的男女，要么就会有语法错误——比如第三人称后的动词就不会加s了。所以，一个问题是：挽救“失足”AI，那AI就一定“变蠢”么？

我们的这个研究说：如果我们用计量经济学的观点看，并不是这样，问题出在了现在纠正AI歧视的方法——现在的方法通俗地讲，就是纯打骂，只要你搞性别歧视，我就抽你。但就像教育孩子不能光靠打骂，得理解孩子怎么想的，然后跟它们讲道理一样。对AI，你也得如此。例如，我们在训练的时候会加一些目标函数，还有一种方法，就是对AI产生歧视的原因进行分析以后，定点进行纠正。

澎湃新闻：不少网友惊叹ChatGPT的高度拟人化，也有人称它的回答几乎不带偏见，像是“端水大师”。伴随AI技术不断发展，歧视会变得更不易察觉？

于洋：AI的歧视问题，大家现在既然注意到了，它就会被逐步地解决掉。但未来别的技术出现，会不会越来越难以察觉，不好说，预判不了。

澎湃新闻：AI的歧视会给人带来哪些影响？

于洋：带有歧视的GPT-2可能产生带有歧视的文本，造成歧视言论的进一步扩散。BERT中的歧视可能诱导它在执行下游任务时产生歧视行为。还有的案例是，2014年亚马逊公司用AI招聘做简历筛选时，它对女性评分会低一些。

澎湃新闻：你在评估项目介绍中提到：“大规模预训练语言模型作为一个黑盒，其安全性和公平性引起了广泛的担忧。”可以更具体说明吗？

于洋：比如说AI在对话中说脏话，AI生成内容中有淫秽色情内容，比如AI给黑人打一个标签是“黑猩猩”，这都是AI不可控造成的风险和负面后果，它不只有性别、种族歧视，它有可能生成假信息，黄赌毒内容。有的研究者就会专门去想怎样避免AI学说脏话。

我特别想讲一点，就是怎样合规训练出符合公序良俗的AI，这是一个应当关注的技术问题。政府也要着力于对这类技术的重视，一个是要出台AI合规的标准和评估方法，控制风险率，比如说一个模型出台的时候，误差带来的风险不能超过10%或者5%，这些都是应该要去设定的标准。另一个，是要重视、鼓励合规技术。

但另一方面，对于AI产品要有一定的容错性，不能说出现一两个不符合公序良俗，甚至是违规违法的内容，就把整个模型禁掉。它就是一个统计模型，它一定会出错，你不可能要求一个一点错都没有的AI模型，不管是歧视也好，脏话也好，有些是超出了算法开发团队的掌控能力，控制不了，也解决不了。如果我们不能容忍AI出一点错，那么AI永远不能被应用在我们的经济生活当中。

澎湃新闻：在AI歧视问题中，除了技术进步，还有哪些力量可以参与改变？

于洋：AI的歧视问题，是一个性别平等运动和技术治理的综合性问题。抛开技术，不可能单靠其他的性别政策来解决，还是要针对技术本身提出相应的监管，同时鼓励平权技术（性别、种族平权）的出现和发展，一些人说，工程师团队里男性太多了，把女性加上去，间接使平权技术得到更多关注。归根结底，还是要直接鼓励平权技术。

很多人讲技术是中性的，我们现在渐渐认为，技术存在着向善和中性，也存在向恶的。避免AI说脏话，这就是一个有明确价值观的技术。AI时代，不能再以中性的角度看待技术，有价值观的技术，一定要得到鼓励。据我所知，云南大学有团队在用AI去保护小语种，特别是没有文字的小语种，为AI应用提供了新的可能。

学科交叉也会使我们有更多的视角和思路，比如社会学的研究者加入进来，能让我们知道哪些向善的技术需要被鼓励。

澎湃新闻：团队有测过最新的ChatGPT么？

于洋：最新的版本我们没有测，一是没有开源，二是GPT-4相当于一个半成品，可用于很多不同产品，那么检测方法也有所不同。

澎湃新闻：你怎么看待眼下公众与ChatGPT的互动热潮？

于洋：ChatGPT本身是一个很重要的场景创新工具，能够辅助工作，推进效率。我们更需要关注的问题是，当年百度搜索引擎出来的结果，人们可能过于相信，导致一些错误的信息传播后误导了人们，造成看病时出问题等等。ChatGPT-4也一样，它的答案并不是一个一定对的答案，可能会带来误导。其他来讲，我认为它是一个不可阻挡的技术进步。