跳到主要内容
马库拉应用伦理学中心"style=

自动化和问责制:伦理案例研究

360的平方"width=

360的平方

伦理学案例研究

Irina Raicu

齿轮工作2好奇探险/Cc by-nc-sa 2.0

从2013年到2015年一个底特律自由出版社文章“至少有2万名密歇根州居民——可能多达4万名——被错误地指控欺诈”,依据的是该州执行的一个“没有人工监督、错误率高达93%”的计算机系统做出的判断。

受影响的居民面临高额罚款;一些人的工资也被扣掉,退税也被国家没收。

引用关于迈达斯国王的古老传说他的愿望是让他碰过的所有东西都变成金子光谱的“计算”部分认为,在密歇根的案例中,算法炼金术创造了铅,而不是黄金。“截至2020年5月,一些受影响的居民收到了2000万美元的退款;然而,正在进行的诉讼认为,这一数字应该更高。

MiDAS(“密歇根综合数据自动化系统”)是越来越多自动化工具的一个例子,各州已经部署了这些工具,以努力减少欺诈或支出,或简化各种政府项目的管理。一个时间一篇题为“各州的自动化系统正将公民困在官僚主义的噩梦中,他们的生命岌岌可危,详细介绍了在阿肯色州、爱达荷州和伊利诺伊州受到批评(有时还导致诉讼)的几种此类工具。在许多情况下,生活受到体制影响的人们发现,他们甚至很难理解是什么导致了有关他们利益的决定,更不用说对这些决定提出上诉了。

随着时间文章指出,“当官僚软件出现问题时,……官员们倾向于指责算法本身的不可知性质,而不是对其输出负责。”在这种“问责差距”中,“无论是设计者还是国家都不对算法的决策负责。”

诉讼可能还会分配责任,但这样的解决可能需要很长时间。例如,直到2021年3月,一名联邦法官才裁定,被错误指控欺诈的密歇根州居民可以继续对州官员和参与设计和实施MiDAS的公司提起诉讼。与此同时,一些受影响的人已经申请破产多年来,我一直在与这些后果抗争。

讨论问题

在回答这些问题之前,请查阅马库拉应用伦理学中心道德决策框架,详细介绍了下面提到的道德角度。

  • 谁是这个案件的利益相关者?
  • “问责差距”的一些原因是什么?
  • 通过权利、正义、功利主义、共同利益、美德和关怀伦理的视角来考虑这个案例;他们各自都突出了哪些伦理方面的问题?

2022年6月21日

互联网道德故事