用正义设计人工智能

我将在这次演讲中讨论三个概念:第一,设计公平的概念;第二,人们是如何抵制人工智能的压迫的;第三,设计正义的十项原则...

以下是在共同选择人工智能:正义事件,在2019 5月13日举行。


我将在这次演讲中讨论三个概念:第一,设计公平的概念;第二,人们是如何抵制人工智能的压迫的;第三,设计正义的十大原则。

谈话结束后,我必须直接去机场。在机场,和你一样,我也要通过毫米波扫描机,那是你举手时绕着你旋转的机器。现在,接下来会发生什么很多人不一定知道,但大多数跨性别和不符合性别的人知道。

当你接近毫米波扫描仪时,TSA探员会看着你,并决定他们认为你是男孩还是女孩。如果他们认为你是男孩,他们会按蓝色的“男孩”按钮;如果他们认为你是女孩,他们会按粉色的“女孩”按钮。然后将你身体的毫米分辨率扫描与男性或女性身体的统计模型进行比较。你扫描的任何与模型不同的东西都是标记并强调在明亮的黄色与红色的小轮廓。

“‘异常’在毫米波扫描器接口突出”(2016)。从“旅行而跨:更好的治疗的虚假承诺,”由加里·加布里埃尔·科斯特洛博士

所以,对于我这样的人,性别不合格人民和许多跨人你赢不了。如果我选择的女性,我要在我身体的一部分突出;如果我被选中男性,我要在我身体的其他部分突出显示,所有基于的方式,从什么人体应该二进制模式我的身体发散的样子。

现在,这意味着cisnormativity-的想法,每个人都与生俱来的性别认同和表达符合他们被分配在性别出生在我们称之为机场安检社会技术系统再现。这样的系统包括所有在安全协议中详述的操作,该模型,该TSA官被以下,机器本身,统计模型(其是基于一些组男性或女性身体的平均尺寸的二进制),等等等等。

对我来说,我白皙的皮肤,我的教育特权,以及我在一个强大机构中的地位,都可能保护我免受被列为异常的最严重伤害。我可能不会被从安全的地方拉出来,戴上头巾,然后被带到关塔那摩湾或美国全球反恐战争中的另一个秘密监狱。我可能不会被拉出来接受长时间的审问,因为许多其他人可能被错误地列入恐怖分子观察名单,或者可能有穆斯林姓氏或棕色皮肤,或者可能居住在与我不同的任何可能身份中。因为我有某些特权,我可能不会错过我的航班。

然而我用这个例子来谈论设计正义,因为这是思考人工智能的一个很好的方式。(当我们说到人工智能时,我们通常只是在谈论机器学习,这是一种获取现有数据集和模型的技术,我们拥有这些数据集和模型,用来预测未来的事情。)机场安全是一种很好的方式来思考为什么这些系统不能仅仅通过包含更多的数据集来修复;很明显,这样的解决方案实际上限制了我们想要构建的可能世界的视野范围。这种方法之所以是错误的,部分原因在于它是一种思考这些系统的危害的快速解决方法,忽视了历史和深层结构。

事实上,性别混淆和顺规定性并不是随着人工智能系统的兴起而产生的。在美洲和世界其他大部分地区,性别歧视和顺规则性是在数百年的定居者暴力殖民主义中强加的。西班牙征服者瓦斯科·努涅斯·德·巴尔博亚(Vasco Nunez de Balboa)的一幅画描绘了他让自己的狗吞食土著夸雷夸第三性别人群的尸体,他认为这些人是性别不一致的人(穿着女人衣服的男人)。顺正性,几个世纪以来已经根深蒂固,不可能通过一个更具包容性的数据集来解决。

如果我们试着想象我们想要建造的世界,当然设计必须是这些世界的一部分。

那么,我们能做什么呢?我是一群人的一部分,他们正在研究社会技术系统的设计如何成为摧毁或改造压迫系统的一种手段。我们是设计师和开发人员,他们认为自己是设计正义网络的一部分。

设计公正是一个日益增长的实践社区,关注设计利益和负担的公平分配:我们可以称之为等式的公平方面。但我们也致力于支持有意义的社区参与设计决策,以及承认基于社区的、本土的和散居的设计传统、知识和实践。(这是阿图罗·埃斯科巴在新书中谈到的,为多元宇宙设计:思考如何在设计时尊重了解、理解、存在和创造世界的多种不同方式。)

除了实践社区之外,设计公正也是分析的框架。作为一个框架,它允许我们质疑社会技术系统的设计如何影响不同人群之间的利益和负担的分配。具体来说,“设计正义”讨论了设计如何重现或挑战黑人女权主义社会学家帕特里夏·希尔·柯林斯(Patricia Hill Collins)所称的“统治矩阵”:白人至上主义、异性恋父权制、资本主义、残疾主义、殖民主义,以及其他形式的结构性和历史性的不平等。

因此,设计正义超越了公平性。它需要思考的统治,大约交叉压迫和意味着什么设计,可以改变或推翻这些系统,而不是不断地复制他们在技术,设计和机器学习社会技术系统的系统矩阵。因为如果我们试着想象的世界,我们要建立一成多世界配合,一个在那里我们包括在内,其中之一也是生态可持续,当然设计必须是世界的一部分。

浏览

选择人工智能

由蒙纳斯隆

但是,即使设计可能是我们集体解放的关键之一,人工智能或机器学习的设计仍然是非常不公平的。这在以下方面是不公平的:谁来建造它;人工智能的工人是谁;想象中的用户是谁;系统的目标;我们建造这些东西的地点;这些制度所支持和加强的权力关系;我们所使用的教学方法是教那些正在学习如何在全国和全世界的计算机科学部门中建立这些系统的人。

设计的好处通常流向统治的矩阵内的更强大的人,而危害落在那些谁是那么强大。设计正义寻求揭示这些流程和解决这些问题。

而设计正义也是关于设计过程的,实际建筑的东西是因为,作为一个设计师,我还没有准备好放弃机器学习。很多时候,我和我的同事们只想说:“不,我们不想建造这些东西。”但我不愿意说,我们从来都不想以任何理由建造人工智能系统。

所以,如果我们要进行建设,例如,这是由AI供电的X射线系统,我们如何建立呢?设计正义说,设计过程中需要重新思考。再看向随行图表。

图片由Sasha Costanza Chock提供

粉红点是具有如何构建特定系统的技术知识的专家,这些知识是当前设计过程的核心。边缘的蓝点是那些生活将受到系统影响的人。

图片由Sasha Costanza Chock提供

但设计正义说,这个过程应该看起来更像这个-的过程中,还是有专家参与系统的生产技术知识,但集中在他们的生命将要影响最大的人。在支持和放大,并在最影响的社区,其中包含谁拥有其他类型的专业知识的人,谁生活经验,像我的这些毫米波系统是如何失败的生活经验的需要,建设有技术知识,多参加专家。

设计正义网诞生于2015年,在底特律举行的联合媒体会议上。设计师、组织者、技术专家和活动家聚集在一起,探讨如何进行设计公正工作,分享关于他们的设计实践的知识。许多人后来受到设计公正原则的影响。例如,请看同意技术项目,Una Lee和and Too design shop正在研究该项目,以考虑如何将性同意的思想应用到技术设计过程中。同意是自由给予的、可逆的、知情的、热情的和具体的(FRIES);我们的大多数人工智能系统都不是这些东西。

图片由Sasha Costanza Chock提供

MoreThanCode项目也受到了这些原则的影响。在这个项目中,我们采访了100多位试图从事公益技术或社区技术工作的技术实践者。我们问什么有效,什么不有效。最重要的是这项工作“没有我们就没有我们”,这当然是残疾公正运动的口号。这意味着:那些最受影响的人需要集中在设计过程中。不仅仅是以协商的方式,而是以一种允许他们管理权力的方式,或者确保某种责任的方式。

我们需要重新思考设计的网站,太。这是DiscoTechs(情迷科技展览会),由底特律数字正义联盟开发了一个模型,它有点像一个黑客马拉松背后的想法,但更具有包容性和社会友好,有食物,有托儿。我们的想法是创建开放的空间中去思考我们如何设计,我们希望有期货。

我教在麻省理工学院被称为联合设计工作室,在那里我试图找出如何教和学生一起学做这种类型的工作,做设计正义在实践中的一类。我们codesigned显卡为电子前沿基金会监控自卫队工具箱。另一个学生项目是与中国进步协会合作,思考如何制作宣传材料,宣传即将到来的人口普查中数据分类的重要性,并在微信群中传播。

抵抗力是肥沃的。尽管我以一个相当激烈的故事开始了这次谈话,并谈到了数百年来的压迫,但我们需要给我们的社区更多的信任,让他们了解正在发生的事情,并组织和动员起来反对它。因为哪里有压迫,哪里就有社区反抗,人们想出生存和改变压迫制度的策略。

“亚特兰大广场大厦居民抗议门口面部识别”,布鲁克林法律服务公司提供

例如,目前,布鲁克林大西洋广场大厦(Atlantic Plaza Towers)的180多名居民已经站出来表示,大楼业主将无法安装面部锁定系统来分析进入大楼的人。我们必须证明这些系统是不公平的——事实上,对于像这样的新系统,我们甚至不知道怎么样他们还不公平。但这种分析是说“不”的更大策略的一部分:说“不”,我们根本不想要它们。

现在有一场竞赛,看下一个哪个城市将禁止执法部门使用面部识别技术。萨默维尔市已经禁止执法部门使用这些技术。旧金山通过了一项禁令,奥克兰也通过了禁令。我们应该想办法给那些做得对的城市一个奖励,并鼓励在城市一级采取更多的行动。在特朗普时代,我们必须寻找市政行动。

我们正在科技界度过一个不可思议的时刻:你可以在techwontbuildit标签下找到更多。在这一保护伞下,你可以发现谷歌员工成功地组织起来,迫使谷歌不接受Maven项目合同,这是一份无人机人工智能合同,实际上是为了确保国防部庞大的云计算合同JEDI的安全而进行的试运行。我们有一个“NoTechforICE”运动:全国拉丁美洲和芝加哥人口组织中心Mijente在曼哈顿和华盛顿的帕兰蒂尔办公室外举行示威,抗议帕兰蒂尔与ICE合作围捕、拘留和驱逐无证人员。

一个新的研究在英国,超过1000名技术人员发现,大约60%的人工智能系统工作人员表示,他们曾开发过他们认为可能危害社会的产品。这是个可怕的消息,但27%的受访者因此辞职。对我来说,这是令人鼓舞的;这意味着TechWontBuild不仅仅是昙花一现,也不仅仅是边缘。

其他的项目也给了我希望的平台合作主义,它试图建立的平台的商业模式不仅仅是工人剥削和数据剥削和提取。例如,在纽约,you 've got Up & Go,这是一个将雇主与工人所有的清洁公司的清洁工联系起来的合作平台。这个平台也在决定关于员工和客户的数据流如何减少压迫和剥削。

最后,我将阐述设计正义网的原则,我们设计正义网的人正试图激活这些原则:

原则上一个:我们使用设计来维持、治愈和赋予我们的社区力量,以及寻求从剥削和压迫的系统中解放出来。

两个原则:我们把那些直接受到设计过程结果影响的人的声音放在中心。

原则三:我们优先考虑设计对社区的影响,而不是设计师的意图。

四个原则:我们认为改变为紧急从一个负责任的,访问,合作的过程,而不是在过程的结束点。

原则五:我们认为设计师的角色是一个促进者,而不是专家。

原则六:我们相信每个人都是以自己的生活经验为基础的专家,我们都有独特和辉煌的贡献,为设计过程带来。

原则七:我们与社区共享设计知识和工具。

原则八:我们实现可持续,社区领导和-controlled成果工作。

原则九:我们对非剥削性的解决方案,重新连接我们的地球和相互合作。

原则十:寻找新的设计解决方案之前,我们找什么在社区层面已经着手。我们的荣誉和提升传统,土著和本地知识和实践。

您可以登录到这些原则designjusticenework.org。谢谢你!

这篇文章是受莫娜斯隆图标

特色图片:“班克西,大理石拱门,伦敦”(2018)。照片由Niv Singer / Unsplash提供