人工智能在影响人们的生活，网上的和现实世界中的生活。算法将人们在网络世界中的上网习惯、购物记录、GPS位置数据等各种网上足迹和活动，转变为对人们的各种打分和预测。这些打分和预测进而左右影响人们的生活的各种决策工作，其中的歧视和不公平由此成为一个显著的问题，无论人们是否意识到歧视的存在。

以大数据、机器学习、人工智能、算法等为核心的自动决策系统的应用日益广泛，从购物推荐、个性化内容推荐、精准广告到贷款评估、保险评估、雇员评估再到司法程序中的犯罪风险评估，越来越多的决策工作为机器、算法和人工智能所取代，认为算法可以为人类社会中的各种事务和决策工作带来完全的客观性。然而，这不过是妄想，是一厢情愿。无论如何，算法的设计都是编程人员的主观选择和判断，他们是否可以不偏不倚地将既有的法律或者道德规则原封不动地编写进程序，是值得怀疑的。算法歧视（Algorithmic Bias）由此成为一个需要正视的问题。规则代码化带来的不透明、不准确、不公平、难以审查等问题，需要认真思考和研究。

人工智能算法决策日益盛行

人们的网络存在，或者说数字存在（Digital Existence），日益受到算法左右。如今，在网络空间，算法可以决定你看到什么新闻，听到什么歌曲，看到哪个好友的动态，看到什么类型的广告；可以决定谁得到贷款，谁得到工作，谁获得假释，谁拿到救助金。诸如此类。当然，基于算法、大数据、数据挖掘、机器学习等技术的人工智能决策不局限于解决信息过载这一难题的个性化推荐。当利用人工智能系统对犯罪人进行犯罪风险评估，算法可以影响其刑罚；当自动驾驶汽车面临道德抉择的两难困境，算法可以决定牺牲哪一方；当将人工智能技术应用于武器系统，算法可以决定攻击目标。其中存在一个不容忽视的问题：当将本该由人类负担的决策工作委托给人工智能系统，算法能否做到不偏不倚？如何确保公平之实现？

算法歧视不容忽视

互联网上的算法歧视早已有之。算法歧视并不鲜见。图像识别软件犯过种族主义大错，比如，谷歌公司的图片软件曾错将黑人的照片标记为“大猩猩”， Flickr的自动标记系统亦曾错将黑人的照片标记为“猿猴”或者“动物”。 2016年3月23日，微软公司的人工智能聊天机器人Tay上线。出乎意料的是，Tay一开始和网民聊天，就被“教坏”了，成为了一个集反犹太人、性别歧视、种族歧视等于一身的“不良少女”。于是，上线不到一天，Tay就被微软公司紧急下线了。

互联网上的算法歧视问题早已引起人们注意。研究表明，在谷歌搜索中，相比搜索白人的名字，搜索黑人的名字更容易出现暗示具有犯罪历史的广告；在谷歌的广告服务中，男性比女性看到更多高薪招聘广告，当然，这可能和在线广告市场中固有的歧视问题有关，广告主可能更希望将特定广告投放给特定人群。此外，非营利组织ProPublica研究发现，虽然亚马逊公司宣称其“致力于成为地球上最以消费者为中心的公司”，但其购物推荐系统却一直偏袒其自己以及其合作伙伴的商品，即使其他卖家的商品的价格更低，而且，在其购物比价服务中，亚马逊公司隐瞒了其自己以及其合作伙伴的商品的运费，导致消费者不能得到公正的比价结果。

当人工智能用在应聘者评估上，可能引发雇佣歧视。如今，在医疗方面，人工智能可以在病症出现前几个月甚至几年就可以预测到病症的发生。当人工智能在对应聘者进行评估时，如果可以预测到该应聘者未来将会怀孕或者患上抑郁症，并将其排除在外，这将造成严重的雇佣歧视。伊隆•马斯克警告道，对于人工智能，如果发展不当，可能就是在“召唤恶魔”。当把包括道德决策在内的越来越多的决策工作委托给算法和人工智能，人们不得不深思，算法和人工智能未来会不会成为人的自由意志的主宰，会不会成为人类道德准则的最终发言人。

犯罪风险评估中的歧视：法官和犯罪风险评估软件哪个更靠谱？

人们常说，犯罪人遭受什么样的刑罚，取决于法官早餐吃什么。刑罚和定罪是两回事。确定犯罪人所应遭受的刑罚，属于法官自由裁量权之范围。法律形式主义认为，法官以理性、机械、深思熟虑的方式将法律推理应用于案件事实，法官在量刑时受到诸多规则和指引约束。法律现实主义则认为，法律推理的理性适用并不能充分解释法官的判决，以及影响司法判决的心理、政治、社会等因素。法官在饿著肚子时更加严厉，倾向于给犯罪人判处更重的刑罚。一项实证研究表明，司法正义取决于法官早餐吃什么，在用餐之前，法官做出有利判决（假释）的比例从约65%下跌到0；在用餐之后，法官做出有利判决（假释）的比例又会急剧上升到约65%。

正是由于法官在量刑时常常受到诸多非法律的外在因素影响，基于大数据、数据挖掘、人工智能等技术的犯罪风险评估系统开始大行其道。Northpointe公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估，并给出一个再犯风险分数，法官可以据此决定犯罪人所应遭受的刑罚。非营利组织ProPublica研究发现，这一算法系统性地歧视了黑人，白人更多被错误地评估为低犯罪风险，而黑人被错误地评估为高犯罪风险的概率是白人的两倍。通过跟踪调查7000多名犯罪人，ProPublica发现，COMPAS给出的再犯风险分数在预测未来犯罪方面非常不可靠，在被预测为未来会犯暴力犯罪的犯罪人中，仅有20%的犯罪人后来确实再次实施暴力犯罪。综合来看，这一算法并不比掷硬币准确多少。

犯罪风险评估系统是一个“黑箱”，它如何得出结论，人们无从知晓，开发它的公司又拒绝对簿公堂，称算法是其私人财产，在缺乏必要的问责机制的情况下，无法矫正的算法歧视对刑事司法正义而言，就是一种嘲讽。Northpointe公司曾向ProPublica披露说其犯罪风险评估算法会考虑受教育水平、工作等诸多因素，但未披露具体算式，认为是其私人财产。所以人们无从知晓Northpointe公司是否将美国社会中固有的种族歧视问题编写进其算法。比如，即使集体统计数据显示黑人比白人更容易犯罪，将这一集体统计数据应用于黑人个体是否妥当？再比如，一直存在所谓的“天生犯罪人”理论，认为犯罪与否和一个个体的长相、基因等生理特征有关，在数据挖掘中考虑这些数据是否妥当？为了确保公平，犯罪风险评估算法在进行数据挖掘时可以使用哪些数据？更重要的是，是否可以依据秘密信息以及由此产生的犯罪风险分数对犯罪人进行判刑？所有这些问题都需要认真对待，否则利用人工智能系统对犯罪人进行打分、计算刑期等，就可能带来意想不到的系统性歧视。美国国会正在推动《量刑改革法案》（Sentencing Reform Bill），将引入“犯罪风险得分”，并据此对犯罪人进行量刑、减刑等，如何通过有效的机制在刑事司法程序中避免机器歧视并在出现机器歧视、不公正时进行问责或者纠正，显得尤为重要。

人工智能决策三大问题：公平、透明性和可责性

有些歧视或许无关紧要，但在涉及信用评估、犯罪风险评估、雇佣评估等重大活动时，人工智能决策的结果将影响甚至决定贷款额度、刑罚选择、雇佣与否，这时候歧视就不再是无足轻重的。如今，在医疗方面，人工智能系统基于大数据、数据挖掘等技术，可以对患者进行预测式诊断，甚至可以在患者病发前数月甚至数年就预测到这一事实，这为精准医疗和预防试医疗提供了可能性。但是，如果将这一技术应用于雇员能力评估，使其掌握是否雇佣某一特定个体的生杀大权，具有强大预测功能的人工智能系统可能会将未来会患上抑郁症等疾病或者怀孕的那些人系统性地排除在外。因此需要重视算法的公平、透明性和可责性这三大问题。

算法默认（By Default）是公平的吗？

长久以来，人们对计算机技术存在一个广为人知的误解：算法决策倾向于是公平的，因为数学关乎方程，而非肤色。人类决策受到诸多有意或者无意的偏见以及信息不充分等因素影响，可能影响结果的公正性。所以存在一种利用数学方法将人类社会事务量化、客观化的思潮，Fred Benenson将这种对数据的崇拜称之为数学清洗（Mathwashing），就是说，利用算法、模型、机器学习等数学方法重塑一个更加客观的现实世界。《人类简史》一书的作者将之称为“数据宗教”，对数据的使用未来将成为一切决策工作的基础，从垃圾邮件过滤、信用卡欺诈检测、搜索引擎、热点新闻趋势到广告、保险或者贷款资质、信用评分，大数据驱动的机器学习和人工智能介入并影响越来越多的决策工作，认为大数据、算法等可以消除决策程序中的人类偏见。

但是，在自主决策系统越来越流行的今天，有几个问题需要预先回答：第一，公平可以量化、形式化吗？可以被翻译成操作性的算法吗？第二，公平被量化为计算问题会带来风险吗？第三，如果公平是机器学习和人工智能的目标，谁来决定公平的考量因素？第四，如何让算法、机器学习和人工智能具有公平理念，自主意识到数据挖掘和处理中的歧视问题？

大数据应用日益广泛，回应这些问题极为必要。首先，公平是一个模糊的概念，法律上的公平被翻译成算法公平可能存在困难，但在犯罪侦查、社会治安、刑事司法程序中，基于大数据的人工智能系统正在将公平问题算法化，包括在犯罪嫌疑人搜寻、社会治安维护、量刑等诸多方面。其次，公平被量化、被算法化可能带来歧视问题。美国FTC在2016年1月发布的《大数据：包容性工具抑或排斥性工具？》（Big Data: a Tool for Inclusion or Exclusion?）特别关注大数据中的歧视和偏见问题，对于消费者，一方面确保公平机会法律得到有效执行，另一方面防止大数据分析中采取歧视等不公平行为；对于企业，FTC建议企业考察以下问题：数据集是否具有代表性？所使用的数据模型是否会导致偏见？基于大数据进行预测的准确性如何？对大数据的依赖是否会导致道德或者公平性问题？

欧盟同样关心大数据和算法中的歧视问题，欧盟数据保护委员会2015年11月发布的《应对大数据挑战：呼吁通过设计和可责性实现透明性、用户控制及数据保护》（Meeting the Challenges of Big Data: a Call for Transparency, User Control, Data Protection by Design and Accountability）警惕人们重视大数据对穷人或者弱势群体的歧视，并提出是否可以让机器代替人类来做道德、法律等判断的问题，其实就是公平能否算法化的问题。最后，当利用犯罪风险评估软件对犯罪人进行评估，决定司法判决结果的就不再是规则，而是代码。但当编程人员将既定规则写进代码时，不可避免要对这些规则进行调整，但公众、官员以及法官并不知晓，无从审查嵌入到自主决策系统中的规则的透明性、可责性以及准确性。

显然，算法的好坏取决于所使用的数据的好坏。比如，如果拿一个个体吃的食物来评估其犯罪风险，那必然会得到很荒谬的结果。而且，数据在很多方面常常是不完美的，这使得算法继承了人类决策者的种种偏见。此外，数据可能仅仅反映出更大的社会范围内持续存在着的歧视。当然，数据挖掘可能意外发现一些有用的规律，而这些规律其实是关于排斥和不平等的既有模式。不加深思熟虑就依赖算法、数据挖掘等技术可能排斥弱势群体等参与社会事务。更糟糕的是，歧视在很多情况下都是算法的副产品，是算法的一个难以预料的、无意识的属性，而非编程人员有意识的选择，这更增加了识别问题根源或者解释问题的难度。因此，在自主决策系统之应用日益广泛的互联网时代，人们需要摒弃算法本质上是公平的误解，考虑如何通过设计确保算法和人工智能系统的公平性，因为很多歧视来源于产品设计（Discrimination by Design）。

算法决策可能暗藏歧视

算法决策在很多时候其实就是一种预测，用过去的数据预测未来的趋势。算法模型和数据输入决定着预测的结果。因此，这两个要素也就成为了算法歧视的主要来源。一方面，算法在本质上是“以数学方式或者计算机代码表达的意见”，包括其设计、目的、成功标准、数据使用等都是设计者、开发者的主观选择，他们可能将自己的偏见嵌入算法系统。

另一方面，数据的有效性、准确性，也会影响整个算法决策和预测的准确性。比如，数据是社会现实的反应，训练数据本身可能是歧视性的，用这样的数据训练出来的AI系统自然也会带上歧视的影子；再比如，数据可能是不正确、不完整或者过时的，带来所谓的“垃圾进，垃圾出”的现象；更进一步，如果一个AI系统依赖多数学习，自然不能兼容少数族裔的利益。此外，算法歧视可能是具有自我学习和适应能力的算法在交互过程中习得的，AI系统在与现实世界交互过程中，可能没法区别什么是歧视、什么不是歧视。

偏见也可能是机器学习的结果。比如一个甄别错误姓名的机器学习模型，如果某个姓是极为独特的，那么包含这个姓的姓名为假的概率就很高；但是这可能造成对少数民族的歧视，因为他们的姓可能本来就不同于普通的姓氏。当谷歌搜索“学习到”搜索奥巴马的人希望在日后的搜索中看到更多关于奥巴马的新闻，搜索罗姆尼的人希望在日后的搜索中看到更少关于奥巴马的新闻，那也是从机器学习过程中产生的偏见。

最后，算法倾向于将歧视固化或者放大，使歧视自我长存于整个算法里面。奥威尔在他的政治小说《1984》中写过一句很著名的话：“谁掌握过去，谁就掌握未来；谁掌握现在，谁就掌握过去。”这句话其实也可以用来类比算法歧视。归根到底，算法决策是在用过去预测未来，而过去的歧视可能会在算法中得到巩固并在未来得到加强，因为错误的输入形成的错误输出作为反馈，进一步加深了错误。最终，算法决策不仅仅会将过去的歧视做法代码化，而且会创造自己的现实，形成一个“自我实现的歧视性反馈循环”。因为如果用过去的不准确或者有偏见的数据去训练算法，出来的结果肯定也是有偏见的；然后再用这一输出产生的新数据对系统进行反馈，就会使偏见得到巩固，最终可能让算法来创造现实。包括预测性警务、犯罪风险评估等等都存在类似的问题。所以，算法决策其实缺乏对未来的想象力，而人类社会的进步需要这样的想象力。

作为“黑箱”（Black box）的算法的透明化（Transparency）困境

算法的公平性是一个问题，算法的不透明性更是一个问题。人们质疑自主决策系统，主要是因为这一系统一般仅仅输出一个数字，比如信用分数或者犯罪风险分数，而未提供做出这一决策所依据的材料和理由。传统上，法官在做出判决之前，需要进行充分的说理和论证，这些都是公众可以审阅的。但是，自主决策系统并不如此运作，普遍人根本无法理解其算法的原理和机制，因为自主决策系统常常是在算法这一“黑箱”中做出的，不透明性问题由此产生。

Jenna Burrell在其论文《机器如何“思考”：理解机器学习算法中的不透明性》（How the Machine “Thinks”: Understanding Opacity in Machine Learning Algorithms）论述了三种形式的不透明性：因公司商业秘密或者国家秘密而产生的不透明性，因技术文盲而产生的不透明性，以及从机器学习算法的特征以及要求将它们有效适用的测量中产生的不透明性。因此，在需要质疑自主决策系统的结果时，比如希望在法庭上挑战算法决策的合理性或者公平性，如何解释算法和机器学习就成了一大难题。这种不透明性使得人们很难了解算法的内在工作机制，尤其是对一个不懂计算机技术的外行而言。

如何向算法问责（Accountability）？

如果人们不满意政府的行为，可以提起行政诉讼，如果不满意法官的判决，可以提起上诉，正当程序（Due Process）确保这些决策行为可以得到某种程度的审查。但是，如果人们对算法决策的结果不满意，是否可以对算法进行司法审查呢？在算法决定一切的时代，对算法进行审查是极为必要的。但是，需要解决两个问题。第一，如果算法、模型等可以被直接审查，人们需要审查什么？对于技术文盲而言，审查算法是一件极为困难的事。第二，人们如何判断算法是否遵守既有的法律政策？第三，在缺乏透明性的情况下，如何对算法进行审查？如前所述，算法的不透明性是一个普遍的问题，因为企业可以对算法主张商业秘密或者私人财产。在这种情况下，对算法进行审查可能是很困难的。此外，从成本-效益分析的角度来看，解密算法从而使之透明化可能需要花费非常大的代价，可能远远超出所能获得的效益。此时，人们只能尝试对不透明的算法进行审查，但这未必能得到一个公平的结果。

构建技术公平规则，通过设计实现公平（Fairness by Design）

人类社会中的法律规则、制度以及司法决策行为受到程序正义（Procedural Justice）和正当程序约束。但是，各种规则比如征信规则、量刑规则、保险规则等正被写进程序当中，被代码化。然而，编程人员可能并不知道公平的技术内涵，也缺乏一些必要的技术公平规则指引他们的程序设计。对于诸如行政机构等做出的外在决策行为，人们建立了正当程序予以约束。对于机器做出的秘密决策行为，是否需要受到正当程序约束呢？也许，正如Danielle Keats Citron在其论文《技术正当程序》（Technological Due Process）中所呼吁的那样，对于关乎个体权益的自主决策系统、算法和人工智能，考虑到算法和代码，而非规则，日益决定各种决策工作的结果，人们需要提前构建技术公平规则，通过设计保障公平之实现，并且需要技术正当程序，来加强自主决策系统中的透明性、可责性以及被写进代码中的规则的准确性。而这一切，仅仅依靠技术人员是无法达成的。

在政府层面，为了削弱或者避免人工智能算法歧视，美国白宫人工智能报告将“理解并解决人工智能的道德、法律和社会影响”列入国家人工智能战略，并建议AI从业者和学生都能接受伦理培训。英国下议院科学技术委员会呼吁成立一个专门的人工智能委员会，对人工智能当前以及未来发展中的社会、伦理和法律影响进行研究。

在行业层面，谷歌作为业界代表，则在机器学习中提出“机会平等”（Equality of Opportunity）这一概念，以避免基于一套敏感属性的歧视。Matthew Joseph等人在其论文《罗尔斯式的公平之于机器学习》（Rawlsian Fairness for Machine Learning）中基于罗尔斯的“公平的机会平等” （Fair Equality of Opportunity）理论，引入了“歧视指数”（ Discrimination Index）的概念，提出了如何设计“公平的”算法的方法。无论如何，在人工智能日益代替人类进行各种决策的时代，设计出验证、证实、知情同意、透明性、可责性、救济、责任等方面的机制，对于削弱或者避免算法歧视、确保公平正义，是至关重要的。