人民网
人民网>>传媒

警惕算法潜藏歧视风险

2019年06月23日06:24 | 来源:光明日报
小字号
原标题:警惕算法潜藏歧视风险

当你搜索关键词时,搜索引擎会计算该向你显示哪些搜索结果;当你登录视频网站时,某些系统会推荐一些你喜欢的节目;新闻类App会利用算法决定向你更新哪些信息。显然,我们生活在一个算法的时代,算法为人们的日常学习、生活和工作提供了极大便利。但需要警惕的是,算法并非完美无缺——它不仅可能出错,甚至还会产生严重的歧视问题。

算法歧视无处不在

算法就是一系列指令,告诉计算机该做什么。作为一种数学理性的运用,人们原本期待算法能够绝对客观,但算法歧视的现象却出人意料地频频出现。

算法歧视突出表现为以下几类:其一,价格歧视。例如,早在2000年,某网站就曾经搞过算法“杀熟”,同一款DVD碟片,对老用户报价26.24美元,对新用户仅报价22.74美元。近年来,我国一些网购平台利用大数据“杀熟”的现象也是屡见不鲜。其二,性别歧视。例如,某网站研发了一套筛选简历的算法系统,结果显示其对男性求职者有着明显的偏好,女性求职者的简历常常分数不高。其三,种族歧视。例如,某国外著名网站上的高薪工作广告更多地向白人显示;智能照相机在照相时不停提醒亚裔睁开眼睛等。此外,基于宗教信仰、经济状况、外貌等形式的算法歧视也广泛存在。

相较于人类歧视,算法歧视有其特殊一面。其一,算法歧视更加精准。算法能够对每个用户精准画像,被打上歧视标签的用户绝无逃脱可能。其二,算法歧视更加多元。人类歧视通常依据的是性别、学历等显形特征,但算法能够挖掘出更加深层次的隐形特征来作为其歧视处理的依据,包括网页浏览记录、购物记录、行车路线等。其三,算法歧视更为片面。人类社会对于个体的判断通常是综合和动态的,而算法无法获取或处理用户的全部数据。其四,算法歧视更加隐蔽。传统基于种族、性别、民族等特征的歧视是法律所禁止的,但算法却可以规避这些规定。

算法歧视的原因剖析

数据是人工智能的养料,歧视性数据必然会产生歧视性结果。例如,2016年,某国外公司的AI聊天机器人上线,但在和网民聊天时却被灌输了许多脏话以及各种歧视的思想,结果迅速成为一名“不良少女”,上线不到一天就被迫下线。与此同时,不完整、不正确或不及时的数据也会产生算法歧视。例如,2016年举行的首届“AI国际选美比赛”,由于算法训练的照片没有包含足够多的非白人面孔,结果导致绝大多数获奖者都是白人选手。

算法本身存在缺陷或瑕疵也会引发歧视。算法决策总是需要设定某些变量或指标,而这些都是人为设定的,不排除掺入歧视的可能。例如,很多国际互联网巨头的男性雇员占了2/3,技术岗位的比例更是高达4/5,这使得算法设计的过程中难免会掺入性别歧视的因子。与此同时,尽管算法是应对复杂工作的利器,但在其输入层与输出层之间却存在“黑箱”,这加剧了算法歧视的复杂性。此外,算法本质上是一种分析、预测的数学技术,强调的是相关性,而非因果性,这决定了算法本身存在歧视的基因。

此外,算法作为人类利用的工具,纵使输入的数据和算法技术本身都没有问题,仍然存在歧视的可能。例如,算法能够清晰地区分出消费能力强、忠诚度高的老客户群体,但企业完全可能将之作为杀熟的依据,而非促销让利的参考。

算法歧视的治理之道

首先,完善算法的法律规制。一方面,规范算法利用的范围、方式和限度。对于算法歧视,既要从公法层面严厉制裁滥用算法的企业等主体,也可以考虑在私法层面引入大规模侵权规则和惩罚性赔偿规则。与此同时,对于高度敏感的数据应当禁止算法处理,包括种族、民族、宗教信仰等。另一方面,要赋予用户更多的权利。用户可以通过被遗忘权来删除过时的数据,通过更正权来补充或更改错误或不完整的数据。还应参照欧盟《一般数据保护法》的规定,赋予用户拒绝权和解释权,即如果用户认为算法的自动化决策存在歧视,那么其有权拒绝接受处理结果。

其次,重视算法的技术规制。面对日新月异的人工智能技术,依靠单一的法律规则来应对算法歧视是难以奏效的。对此,建议引入算法的伦理设计,从一开始就将算法透明、算法可解释、算法问责、算法审计等价值需求嵌入算法的设计当中。相较于法律的事后救济,算法的伦理设计更强调预防的重要性,要求设计者在算法的设计阶段遵守禁止歧视的法律和伦理规则,并通过自然语言将法律语言嵌入到算法的全生命运行周期中。

最后,探索算法规制的市场路径。传统理论认为,算法公平与企业的营利目标是冲突的,企业没有动力推动算法公平的实现。然而,随着用户对于算法公平的需求越来越强烈,市场将会淘汰那些滥用算法的企业。对此,企业可以通过发布透明度报告等方式来公布算法公平指数,以赢得用户信任。此外,公权力机关通过投资和采购的方式,也可以引导企业提高算法公平指数,减少算法歧视的发生。

(作者:郑志峰,系西南政法大学民商法学院讲师)

(责编:宋心蕊、赵光霞)

分享让更多人看到

传媒推荐
  • @媒体人,新闻报道别任性
  • 网站运营者 这些"红线"不能踩!
  • 一图纵览中国网络视听行业
返回顶部