亲密算法的危险

我们必须重新想象自己的算法系统,投放到支持解放和公正的社会责任的创新。

以下是记者在香港国际机场发表的讲话全文,略经编辑拉拢AI:身体事件,举行了2019 10月28日,由莫娜斯隆举办


After a sleepless night—during which I was kept awake by the constant alerts from my new automatic insulin pump and sensor system—I updated my Facebook status to read: “Idea for a new theory of media/technology: ‘Abusive Technology.’ No matter how badly it behaves one day, we wake up the following day thinking it will be better, only to have our hopes/dreams crushed by disappointment.” I was frustrated by the interactions that took place between, essentially, my body and an algorithm. But perhaps what took place could best be explained through a joke:

什么算法说身体在上午4点24分?

“现在校准”。

什么算法说身体在上午5点34?

“现在校准”。

什么算法说身体在上午06点39?

“现在校准”。

什么也身体说的算法?

“我已经厌倦了这种狗屎。回去睡觉了,除非我有一个医疗急救“。

虽然幽默陷害,这种情况下是1型糖尿病的人的生命的逼真的描绘,使用最新的胰岛素的一个泵和连续葡萄糖监测(CGM)系统。该系统,美敦力公司的MiniMed 670G,是销售作为“世界第一款混合动力闭环系统”1这意味着它能够基于关于血糖实时传感器数据自动地和动态地调整胰岛素递送。它具有使用的三种模式:(1)手动模式(预置胰岛素递送);(2)用一个所谓的“暂停低”特征混合动力模式(预置胰岛素输送,但在系统关闭关闭输送如果传感器数据指示血糖过低或下降太快);及(3)自动模式(基于传感器数据动态地调整胰岛素递送)。

在这种情况下,自动模式是称“算法模式”的另一种方式:本机采用的算法,能自动补充胰岛素,如果血糖过高,并暂停输送胰岛素,如果血糖过低。而且可以这样做,广告承诺,在一个人的睡眠,或在一个会议或以其他方式太在人类活动消耗的监控设备。2由于这款新机,显然,算法会工作我的身体。怎么会错呢?

不同于药品制造商,公司,使医疗设备不需要以评估之前,营销和销售他们这些设备的副作用进行临床试验。虽然美国食品和药品管理局通常评估医疗设备的效益 - 风险特征,他们被批准之前,往往风险成为唯一已知这些设备正在使用中(就像iPhone发布后发现漏洞并在随后的软件升级中修复一样)。FDA将这一信息称为医疗设备“新出现的信号”,并就公司何时需要通知公众提供指导。

这样,患者在效果,利用为实验对象,3谁住在一起永久处于测试阶段的设备。不像那些谁拥有最新的iPhone,一个人谁是依赖医疗设备,由于四年的产品质量保证,卫生保健和医疗器械行业和医疗保险的指导方针,不能轻易降级,改变设备近乎垄断的,或切换到另一个提供商时,就可能出现问题。

这很容易批判的技术系统。但它更难与他们生活密切。随着自动化系统和,特别是与网络的医疗设备,技术,医疗和法律纠纷获得人与物之间更慷慨的关系的方式。

我开始使用新的美敦力公司系统2018年1月,升级,可以这么说,在我以前的泵的塑料外壳开始打破。有系统的许多方面,我已经采取了近两年的时间来观察,记录,并通过autoethnographic田野笔记理解。

随着由系统从没有互相沟通不同公司的专有设备我以前的,但良好的同伴在我这做护理,我可以根据我的生活节奏调整校准时间,仍然有关于我的血糖准确的信息图案。虽然,在一方面,设备有自己的需求,电池,数据,网络,软件和硬件,另一方面,我可以当他们侵入忽略警报和警报。警报和警报是频繁的要少得多,而且有些还可以通过iPhone应用程序被开除。然而,随着新的系统,它是必要的,以保持系统在自动模式下的警报后立即进入血糖信息,并继续访问数据(否则,它完全从设备的屏幕上消失)。随着自动化,闭环系统,如新的美敦力系统更多的机构和控制是故意委托给设备和人的唾弃。

总之,自动化需要的工作。具体而言,系统需要以正常工作的人类劳动(这可以在白天或晚上的任何时间发生)。许多泵的警报和警报信号说:“我需要你为我做的事,”不为上下文方面。当泵需要校准,它要求我刺我的手指和测试我的血糖有一米,以输入更准确的数据。有必要做这个大约每天三分,四次,以确保该传感器的数据是准确的,并且系统运行正常。残疾人如1型糖尿病患者已与额外的工作负担,以忙碌的一天到一天的生活,例如,追踪血糖,监测饮食,保持小吃得心应手,订购耗材,去看医生。不必要地增加了这种负担,同时减少一个人的生活质量,由于睡眠不足的系统设计不当,以及不公正的,并最终丧失人性。

到了晚上,我与各种警报五倍多不会少惊醒。什么是算法的思想?

虽然是与美敦力MiniMed 670G很多问题,在这里我将只讨论一些最显著和相互关联的人的:即,一个技术问题被称为“死亡之环”,“警报疲劳”和持续的睡眠剥夺。

在此之前开始自动模式,我会见了美敦力的强制性培训会议的代表。听到描述这种模式,我不知道我是否会睡到天亮好一点。(通常情况下,用我以前的系统,我被惊醒,当我有低血糖,这需要立即治疗。虽然这事相当频繁,这不是一个夜间发生。我的希望是,该算法可以既管理高血糖and prevent low blood sugar such that I would not be awakened at night.) The company rep replied, “I met with a patient recently that described the new system, saying that it is ‘the best sleep of my life.’”

那个周日的晚上,也就是一个重要会议的前一天,我在凌晨2:30醒来,就听到这个670克重的设备的嗡嗡声,提醒我校准传感器。我暂停了警报,但一个小时后我被唤醒,一个小时后又被唤醒。那天晚上,我被各种警报吵醒了不下五次。什么是算法的思想?

第二天,我昏昏沉沉,神志不清。我熬过了这一天,但为了保持自动模式,我不得不好几次请假离开会议,校准泵。在这一天结束的时候,我彻底的疲惫和沮丧。为了校准泵,我在左手的三个手指上刺了近30次(而不是通常一天两到三次),然后左手的三个手指又紫又痛,每个手指上都有一串刺。

第二天,当我张贴了关于“滥用技术。”这篇文章引发了对理论家劳伦·伯兰特的“残酷乐观,”描述为关系或附件,其中交换“你想要的东西实际上是一个障碍,你的蓬勃发展。”一个星期后,我彻底放弃了设备的自动模式。

浏览

指派的人工智能

通过莫娜斯隆

那天极高的校准频率——Reddit糖尿病论坛称之为“死亡循环”——现在被认为部分是由第一代发射机造成的。18个月后,也就是2019年7月,当我第二次启动自动模式时,我的糖尿病教育工作者告诉我,我需要做的第一件事就是申请下一代发射机,它将消除其中一些问题。

事实上,18个月后,我使用自动模式的经验有了很大的改善(严重低血糖的情况也少了很多)。但是,凌晨3点的校准频率(以及其他各种各样的警报,以及从电池电量不足、蓄能不足到自动模式退出的各种信号)仍然是一个严重的问题。频繁的校准有很多可能的解释,但即使是公司也不清楚我为什么会出现这种情况。例如,对于算法系统,人们已经广泛地证明,即使是这些系统的工程师也不能确切地理解他们是如何做决策的。一种可能的解释是,我的血糖数据可能不符合算法的训练数据中的模式。换句话说,我是一个188bet提款局外人。另一种可能是,我需要每天在被提示前更频繁地校准。或者,也许,在一周中,将传感器附着在身体上的胶带会变得稍微松一些(尽管我不相信这是真的)。或者我身上安装传感器的地方不理想。或者传感器在一周的时间里因为其他原因变得不太可靠。 But none of these reasons explains why I should need to be frequently woken up in the middle of the night due to the design of the system.

在“好”的日子,我体验到只有一个或两个警报;但在其他时候,我可能会超过25(即超过一个每小时)。这些警报成为当周的推移,例如,当葡萄糖传感器是通过使用第七日第四次更频繁的(这是每七天更换)。

对于病人来说,“警报疲劳”是导致睡眠中断,导致我们忽略或关闭闹钟一个严重的问题。

在医疗领域,术语“警报疲劳”是用来描述如何“忙碌的工人(在医疗保健的情况下,临床医生)成为解除了安全警报,并因此忽略,或者无法响应适当地对这样的警告”according to the US Department of Health and Human Services’ Agency for Healthcare Research and Quality. As a result, patient safety is compromised.

医生和护士都没有被轰炸不断,并警告压倒了只有专业人士;作为我们所谓的一部分,“数字化改造,”几乎每一个行业都会受到这样的系统在不那么遥远的未来主导。受压迫最深,队伍和弱势工人可能有更少机构在抵制这些系统中,这将被用来监视,管理和控制一切从他们的日程安排他们的补偿标准。因此,提醒和报警人机交流的通用语言。

对于患者以及“警报疲劳”是一个严重的问题,导致睡眠中断,此外,导致我们忽略或关闭闹钟,即使是那些可能预示一些危及生命。就我而言,我所观察到的一切日常疲惫和烦躁抑郁和自杀的想法,甚至。

传感器和人类做出同床异梦确实如此。我已经学会了驳回警报,而我睡觉(不关注他们是否指示危及生命的情况下,如极端低血糖)。我也开始睡前(大约一天用四),或在半夜(当我意识到,设备行为不端)关闭传感器。虽然我已经试过了已建议由我的糖尿病教育,如通过传感器移动到我身边,期间更频繁地校准多次调整一天,这些都导致了只有非常小的改进。

最终,我开始相信,我甚至有些“睡如传感器”(即,在更短的延伸,似乎模仿设备的校准模式)。由于这种新的设备,它的新的算法,我已经开始感到睡眠的真正的恐惧。

浏览

设计公正的AI

通过萨莎·科斯坦萨·查克

可以肯定,我不是唯一一个谁可以抱怨睡眠剥夺,这也困扰着那些新生婴儿,过于兴奋,宠物,睡眠呼吸暂停,和深夜的数字瘾。它被称为是极其有害健康。还有的是,中情局曾用它来折磨人的理由。睡眠需要是人类普遍的(并且是常见的几乎所有其他生物)。但是,要不断觉醒,并有我的身体被毯子依偎在那个自称关心我,这并感到特别残忍的小机器剥夺睡眠。

随着公司设计的新一代“智能”医疗器械的,政府必须要求他们更认真地考虑其发明的社会,文化和心理影响的潜在风险。在这种情况下,是在降低心灵的代价固定身体没有任何意义。

打个比方,如果你睡不着,你就不能做梦。如果我们要把我们的算法系统重新想象成负责任的创新,服务于支持自由和公正的社会,我们必须有梦想的能力。

近年来,许多学者和技术人员已经将他们的注意力转向了算法系统设计中的透明度、公平性、问责性和公平性。艺术家和设计师以创造性的方式使用这些技术,以重新想象它们在社会中的角色(并让我们更加意识到这些危险)。包括科技工作者在内的活动人士已经发起了抵制活动。所有这些目标都很重要,以便我们了解算法系统是如何嵌入到社会的各个方面的。

根据我的生活与算法亲密的经验,我有我自己的一些想法。首先,如果我们都采用这样的系统,让我们非常清楚多少劳动参与使他们的工作和谁去执行劳动,以及何时何地劳动是必要的。

第二,没有一家公司应该控制一个系统的所有方面。不同的专有技术和开源技术之间的互操作性对于允许人们在使用什么系统方面有更大的决定权是至关重要的。

第三,随着新算法的功能被添加移之间的界限人类和机器的机构,我们要认真了解其与这些系统的经验是由性别,种族,阶级,性别和年龄界定的方式。

但现在,我会满足于在夜间睡眠的算法系统。


衷心感谢萨比尔汗,雅尼Loukissas和纳西姆·帕尔在佐治亚技术研究所;扎克·麦克道尔在伊利诺伊大学芝加哥分校;和马丁Tironi,巴勃罗满森,马蒂亚斯瓦德拉玛和雷纳托贝尔纳斯科尼在宗座智利天主教大学。通过座谈会,报告会,研讨会,并在那里我获得了宝贵的反馈面板的组织支持这项工作在过去的两年中每个个体发挥了重要作用。我也想在高级研究(英国)研究院在达勒姆大学,在那里,从一月至2020年三月的访问学者,我终于坐下来起草这篇文章承认董事,教授,研究员,和工作人员。尽管对这项工作的背景下发生了转变,因为很大,在人工智能,设计,残疾和医疗保健的交叉点记录不公正和非人性化的相关性越来越紧迫,如果我们要手艺更公平的未来。最后,我非常赞赏去蒙娜丽莎斯隆的组织和主持了令人难以置信的生成增选AI:身体活动,在2019年十月。图标

  1. 这种系统在之前,他们的商业推广开放源代码的黑客社区中率先。
  2. 事实上,广告吹捧,“睡得可香了。醒来通电。该MiniMed670G系统让你每天早上醒来充分休息,并准备采取新的一天。”
  3. 感谢医学人类学家Danya Glabau,是她在2019年10月的“吸收人工智能:身体”活动上的演讲让我知道了这个词。
特色图片:白色的床上被子(2016)。摄影:Jaymantri / Pexels