跳到主要内容
马库拉应用伦理学中心

道德的工具包

香农Vallor

下面的工具代表了在技术行业工程和设计工作流程中实施伦理反思、审议和判断的具体方法。

正确使用,它们将有助于开发符合伦理的工程/设计实践,包括:

  • 很好地整合进入专业技术环境,并被视为优秀工程和设计工作的自然组成部分(不是外部的或多余的)
  • 明确因此,道德实践不是一种可以被忽视或遗忘的“潜规则”
  • 正规化通过不断的重复和习惯,工程师/设计师/技术人员可以逐渐加强他们的道德分析和判断能力
  • 实施这样工程师/设计师就能在他们的工作环境中得到关于道德实践的明确指导,而不是被迫退回到他们自己对道德的个人和不同的解释

每个工具执行不同的道德功能,并且可以为特定的应用程序进一步定制。团队/项目负责人应该仔细考虑如何在他们的团队或项目设置中最好地使用每个工具。问这样的问题:

  • 这个工具自然适合我们现有工作流程的哪一部分?如果没有,在我们的工作流程中,我们可以在哪里为它提供一个好的位置?
  • 我们希望这个工具帮助我们达到什么样的结果?我们希望它的使用减轻或减少哪些风险?
  • 为了实现这些目标,应该多久使用一次这个工具?
  • 谁应该参与使用这个工具,团队中谁应该负责监督它的使用?
  • 应该以什么方式使用工具,以及结果,被记录/评估?
  • 我们将如何奖励/激励这些工具的良好使用(例如,在绩效评估中),以便员工有强烈的动机使用它们,而不是试图避免/最小化它们的使用?
  • 为了正确使用这些工具,员工需要什么培训(如果有的话),我们将如何提供培训?

该工具包包括七个工具:

工具1:道德风险横扫:道德风险是否选择可能对具有道德地位的个人或其他实体造成重大伤害,可能会因为其他原因引发激烈的道德争议。未能预测和应对这些风险可能构成道德过失.正如定期渗透测试和风险评估是良好网络安全实践的标准工具,道德风险评估是良好设计和工程实践的基本工具。

工具2:道德的事前和事后分析:工具1侧重于个体风险,工具2侧重于规避风险系统性项目的道德失败。设计和工程领域的许多道德灾难都是由这种现象引起的级联效应:多个团队的失败,孤立起来微不足道,但合在一起就会造成严重的道德灾难。因此,我们需要一种针对动态的工具系统性设计失败,这是道德的事前和事后分析所适合提供的。

工具三:扩大道德圈:在大多数情况下,一家技术公司由于道德疏忽而造成了重大的道德损害,损害的范围是没有预料到的或没有得到充分理解的,至少在一定程度上是由于主要设计师和工程师忽视或排除关键利益相关者利益的各种认知错误。为了减轻这些常见错误,设计团队需要一种工具,要求他们“扩大道德圈子”,并邀请涉众输入和超出他们自己的观点。

工具4:基于案例的分析基于案例的分析是实现跨伦理情境的伦理知识和技能转移的基本工具。它使我们能够识别出在关键道德方面反映我们自己的先前案例;分析相关的异同;研究已采取的解决办法和策略及其结果;并得出合理的推论,哪些可能有助于阐明或适用于我们目前的情况。

工具5:牢记创造性工作的伦理利益:合乎道德的设计和工程不仅仅是识别风险和避免灾难;这是关于积极的成果:人类繁荣,包括子孙后代的繁荣,促进地球上健康和可持续的生活。太多时候,其他的目标会掩盖这一点。为了解决这个问题,它有助于实现一个工作流工具,使我们的工作的道德利益明确,并加强创建它们的真诚动机。

工具6:想想那些糟糕的人:正如工具5提醒我们的那样,对我们的工作进行积极思考是道德设计的重要组成部分。但我们不能设想,我们的工作只能由最聪明、最优秀的人以最聪明、最优秀的方式使用。在现实中,技术就是力量,总有一些人希望滥用这种力量。该工具帮助设计团队管理与技术滥用相关的风险。

工具7:闭环:道德反馈和迭代:合乎道德的设计和工程从来不是一项完成的任务——它是一个我们必须确保关闭的循环,以实现合乎道德的迭代和改进。这一工具有助于确保道德倡议和意图能够实现持续的在实践中,并没有降级为“道德雾件”。

工具1:道德风险横扫

道德风险这些选择可能对个人或其他具有重大道德地位的实体/系统(生态系统、民主制度、供水、动物或植物种群等)造成重大伤害,或可能因其他原因引发严重的道德争议。

技术设计和工程领域的伦理通常始于寻求理解我们自己的技术选择和活动可能会产生或加剧道德风险;只有这样,我们才能决定如何减少、消除或减轻这种风险。

在设计和工程的历史上,许多可避免的伤害和灾难都是由于未能充分识别和理解可预见的道德风险而造成的。这种失败是一种道德过失为此,技术人员可能会被一系列利益相关者追究责任,包括那些直接受到失败伤害的人、公众、监管机构、立法者、政策制定者、学者、媒体和投资者。

为什么可预见的道德风险是否被忽略了?

道德风险在以下情况下尤其难以识别:

  • 我们不赞同其他利益相关者的道德观点
  • 我们无法预测可能导致伤害的因果关系
  • 我们只考虑损害的物质/经济原因
  • 我们无法区分传统规范和道德规范
  • 伦理风险是微妙的、复杂的或只有在总体上才重要的
  • 我们错误地将道德风险分类为法律风险、经济风险、文化风险或公关风险
  • 我们缺乏明确的、规范的方法来寻找它们

我们如何缓解这些挑战?

  • 研究所定期道德风险清理练习/实践,以加强和维持团队的道德“肌肉”,以检测这些类型的风险
  • 假设你错过了项目开发初期的一些风险;奖励团队成员能够发现新的道德风险,特别是那些微妙/复杂的风险
  • 实践评估道德风险:哪些风险是微不足道的?哪些是紧急的?哪些是遥不可及的?哪些是遥不可及但又严重到不容忽视的?
  • 就像对待网络安全渗透测试一样;通常是“没有发现漏洞”新闻,但你不认为这是白费力气。你继续做下去

实现的例子:A公司生产可穿戴的健康“智能”设备。在公司入职期间,员工完成半天的综合研讨会,强调公司的道德规范和实践;其中包括介绍风险扫描协议等。入职培训包括特定的风险(例如,安全、隐私、自主、尊严、情感健康等)集中在健康和保健部门,以及该部门可穿戴设计特有的风险(例如,gps对位置隐私的风险,某些人群中强迫性自我监控的风险)。

在公司A,所有项目经理都必须在工作流程的四个阶段实施风险评估协议:1)最初的产品提案(“想法生成阶段”),2)原型阶段,3)beta测试阶段,以及4)上市后质量保证阶段。

风险排查的每个阶段都涉及一个强制性的团队会议或类似的会议,期望每个团队成员识别并提出一些风险;业绩审查时必须注意到对这些会议作出的富有成效的贡献。

在一个或多个阶段,项目经理必须寻求在流程中输入,以确保风险横扫协议不受群体思维或“泡沫”心态的限制。例如,他们可能会与营销部门合作,以确保从不同的焦点小组中寻求有关可能的道德风险的意见,或者他们可能会从beta测试者那里寻求反馈,或者从愿意根据NDA提供意见/建议的技术伦理学家或评论家那里寻求反馈。

风险横扫的每个阶段都建立在最后一个阶段的基础上,假设一个更重要的风险可能在前一个阶段被忽略了,或者由于设计变更或新的用例而新出现。每个阶段的道德风险都被识别、评估、分类和记录,即使是微不足道或遥远的风险。假设没有任何“不去”风险(那些必须放弃项目的风险),继续被分类为重大的风险必须受到一个监测和缓解策略。

工具2:道德的前尸检和后尸检

风险横扫协议侧重于单个风险,而此工具侧重于避免风险系统性项目的道德失败。工程和设计中的许多伦理灾难都是由这一问题引起的cascade效应:多个团队的失败,孤立起来不会危及项目,但一起产生了总体的道德灾难。因此,道德风险评估方案应该与针对系统设计失败动态的工具相匹配,这是道德事前和事后分析适合提供的东西。

一个概念死后熟悉的;在某些情况下,例如当病人在医疗护理下死亡,或在不预期死亡的时间死亡,医疗小组可能会受命对病例进行审查,以确定哪里出了问题,以及是否可以合理地预测和预防死亡。

通过突出错过了机会级联效应和循环模式在团队失败的情况下,这样的练习被用来改善医疗团队的实践。为了鼓励开放的信息共享和建设性的学习,在许多情况下,在事后分析中记录团队失败被设计为一种non-punitive过程;其目的不是像在司法审查中那样,将责任分配给或惩罚个人,而是确定如何系统团队未能防止此类失败,以及改进程序和协议如何在未来实现更好的结果。

同一过程的一个版本可以帮助技术设计和工程设置.它可以被增强pre-mortem协议。而不是等待为了避免道德灾难的发生并对其进行分析,团队应该养成练习的习惯道德想象力看看一个道德上失败的项目可能容易发生的,并了解可预防的原因,以便减轻或避免。

团队事后分析应该问:
为什么这个项目是一个道德失败?
什么组合或级联道德失败的原因?
我们能做什么学习这场我们不知道的道德失败?
什么团队动态或协议可以有预防道德上的失败?
我们必须做什么改变如果我们下次做得更好?

团队分析前应该问:
这个项目怎么会失败呢道德原因吗?
最有可能发生的是什么结合原因我们的道德失败/灾难?
什么盲点会把我们带入其中吗?
为什么我们会不采取行动
我们为什么/如何选择错误的行动?
我们可以实施哪些系统/流程/检查/故障保障减少失败的风险?

实现的例子:公司B制作大型多人在线视频游戏。5年前,他们的一款游戏《Project Echo》遭遇了巨大的商业失败,这损害了他们的品牌,浪费了多年的投资,并导致一些才华横溢的设计师和其他有价值的人员离开。这次失败有很多道德维度:游戏社区和游戏媒体认为这款游戏是一款明显的“付费游戏”,通过其设计选择不公平地排斥或不利于那些可支配收入较低的玩家;它还在不知不觉中刺激了某些反社交玩家行为,导致严重的线上和线下伤害,并阻碍了一个健康和不断发展的玩家社区的出现。最后,它还包含了某些被许多人(包括游戏社区外的直言不讳的批评者)视为麻木不仁和道德冒犯的社会群体的描述。

B公司决心在未来避免这种灾难。

他们对Project Echo进行了广泛的事后分析,重点关注导致结果的设计过程的系统性和级联性弱点。他们了解到,在游戏的设计和开发过程中,每个伦理风险都是可以预见的,但由于创意、技术和营销团队之间的沟通不足,这些担忧从未得到解决。他们还了解到,这款游戏受到公司缺乏清晰一致的道德原则和价值观信息的影响;例如,它如何看待“付费游戏”模式,它希望自己的游戏培养什么样的玩家社区,以及它希望自己的游戏叙述如何适应更广泛的社会道德规范。最后,他们了解到,团队领导无意中设置了旨在培养团队“凝聚力”的错误激励机制,但最终却奖励了粗心的设计选择,并抑制了对这些选择所产生的风险的担忧或担忧。该公司从所有级别的员工中寻求可能的解决方案的匿名输入,根据这些数据,他们可以对游戏设计工作流程和程序进行一些更改,以提高未来游戏项目的道德可行性。

他们实施游戏设计“事前分析”要求,在前期制作阶段必须由创意和制作团队领导共同执行,在此阶段,团队领导激励其成员想出多个创意场景,在这些场景中项目可能会失败。技术和商业失败风险被明确地识别出来道德也明确地要求识别失败风险,并以此为框架。

在公司入职过程中,员工会对公司的道德价值观、文化和流程进行概述;回顾和讨论游戏设计和开发中出现的独特伦理风险和关注点;给出了识别此类伦理问题的概念框架和词汇;并被要求审查和讨论一个伦理案例研究,比如Echo项目的事后分析。

工具三:扩大道德圈

在大多数情况下,一家科技公司造成了重大的道德损害,违反了道德规范,损害了内部士气和声誉,或由于他们的道德疏忽而招致了激进的监管监督,损害的范围没有预料到或得到充分理解,至少部分原因是:

  • 群体思维:一种社会现象,在这种社会现象中,一个紧密联系的群体的认知过程变得过于紧密,以至于他们开始“步调一致”地思考,无法考虑或准确地评估除了当前运行的观点之外的其他观点。
  • “泡沫”心态:类似于群体思维,但不是由一个群体的社会动态引起的,而是由他们之间的人口统计学和认知相似性引起的;换句话说,这是一种由于缺乏足够多样性的生活经历、价值观、世界观、身份、能力和/或个性风格而导致的认知和道德失败。技术行业中的环境,团队可能有非常相似的教育程度、许多共同的价值观和兴趣、共同的文化假设和词汇、相似的性别认同、种族、年龄组和身体能力。再加上共享的工作文化和身份的额外凝聚力,你就有了滋生危险的“泡沫”心态的土壤。需要深思熟虑和协调一致的努力来抵消这种现象,在这种现象中,“善良的人”由于他们狭隘的认知观点和盲点,很容易做出不道德的决定。这就是为什么像“技术造福社会”和“让世界更美好”这样的口号可能是危险的;它们让人们在泡沫心态中运作,真诚地相信他们的行为是合乎道德的,而实际上,他们可能缺乏对更广泛的社会现实的认知途径,为了这样做,他们需要理解。
  • “弗里德曼谬误”:经济学家米尔顿•弗里德曼(Milton Friedman)在上世纪六七十年代提出了一个臭名昭著的观点:公司以及代表公司行事的员工有道德义务只有为了使股东利益最大化,而不负责考虑他们的行为对公众利益的影响——除了遵守“游戏规则”,即法律。这种观点受到了正确的批评,不仅因为允许企业对公众造成严重伤害,而且甚至连亚当•斯密(Adam Smith)等人所勾勒的资本主义道德基础都深为诅咒,后者将资本主义的合法性与公共利益联系在一起。不幸的是,弗里德曼的谬论仍然在许多商学院和其他环境中被教授,它经常被用来为公司故意或鲁莽地无视受影响的利益相关者或公众的合法道德利益辩护。必须指出,公众一般不接受这种谬论。如果一家公司故意用有毒废物毒害当地河流,但却利用联邦环境法规的漏洞合法地这样做,当地居民不会耸耸肩说,“好吧,当然,公司高管真的别无选择——他们不得不让我们的孩子患癌症,毕竟,把安全处理的成本强加给股东是错误的!”同样,当一家科技公司为了节省安全成本而将敏感的个人信息不加加密、完全开放给黑客,或者悄悄将其出售给第三方,不加限制地使用,结果无辜的人失去了毕生的积蓄或安全,没有人会接受弗里德曼谬误作为借口,即使法律没有禁止这种行为。

这些都是技术实践中道德失败的严重和广泛的原因,但它们可以通过明确和深思熟虑的措施来解决扩大伦理圈.也就是说,确保所有利益相关者(直接或间接受我们行为影响的人)的合法道德利益都得到考虑。

扩大伦理圈子可以通过明确和规范的设计实践来实现;此外,就公司活动对社会的更广泛影响而言,它可以而且应该在更高层次的企业领导层实施。

这项工作应提出如下问题,并请对答案进行明确的思考,以及因此应采取的任何积极步骤:

  • 我们究竟拥有谁的兴趣、欲望、技能、经验和价值观假定,而不是实际上咨询?我们为什么要这样做,有什么理由?
  • 谁是直接受我们产品影响的利益相关者?他们的利益是如何得到保护的?我们怎么知道他们的兴趣是什么真的都有我们
  • 谁/哪些团体和个人间接在很大程度上受到影响?他们的利益是如何得到保护的?我们怎么知道他们的兴趣是什么真的都有我们
  • 谁可能会使用我们没有的产品预计去使用它,或者去做我们最初没有做的事情意愿?这将如何扩展/改变涉众图景?
  • 谁在实质性的我们的产品会带来怎样的风险?我们如何证明和减轻这种风险,我们采取了哪些措施来获得这种风险通知和有意义风险人群的同意?
  • 谁是最不可能购买或使用这个产品,但可能对它有强烈意见的人?我们能听取/评估这些意见吗?

实现的例子:C公司正在设计一款应用程序,旨在帮助患有自闭症的年轻人在社交环境中导航。设计团队非常积极地帮助自闭症患者更舒适有效地融入社会;参与其中的每个人都清楚,这是一个道德高尚的目标,技术上可以实现,在道德和商业方面都值得追求。

然而,C公司的内部道德设计协议促使他们扩大道德圈子,以确保他们不会成为群体思维(被他们的道德热情集体压倒,以至于没有人想到任何负面或风险)、泡沫思维(毕竟,没有一个设计师是自闭症,而且都来自优越的经济背景,具有相似的教育和文化经历)的受害者,或者弗里德曼谬误(将项目的崇高目标置于利润考虑的边缘,将他们试图帮助的用户置于风险之中)。

在构思过程早期的团队会议上,一个专门讨论这个工具的会议上,他们开始解决上面的问题。

他们很快决定,他们应该咨询一群年轻人在设定具体的设计目标之前。他们意识到他们只有假定自闭症社区会欢迎或意识到对这样一个应用程序的需求,但实际上并没有该社区的成员,他们的目标和兴趣可能与他们的社会经验有关。他们还确定了一类潜在的用户,这些用户没有自闭症,但可能会寻求应用程序来帮助他们管理一般的社交焦虑,并且必须考虑设计规范是否应该扩展到为这些用户设计的功能。他们也意识到,参与支持自闭症患者的训练有素的专业人员可能会对这个应用程序及其设计有强烈的意见,他们需要考虑这个应用程序是否会被视为或用作其他支持模式的替代品。

在邀请了一群年轻的自闭症活动家和护理专业人士进行对话后,设计团队得到了比他们开始时更丰富的伦理观点。他们逐渐意识到,考虑到自闭症形式的多样性,他们最初的一些设计目标和功能可能并不像他们想象的那样对所有用户都有帮助。他们意识到,他们对自闭症有许多刻板印象,其中一些更植根于电影和电视,而不是自闭症患者的真实生活经历。他们还意识到,自闭症患者的经历可能会因其他社会因素而有很大差异,包括文化和经济差异。他们还了解到一些具体的隐私和安全风险,许多应用程序的潜在用户希望在设计中考虑和解决这些风险。

他们还了解到,有相当一部分自闭症患者对被框定为“治疗”或“疗法”的干预措施有抵抗力;他们不认为自闭症是一个可以用技术解决的“问题”,而只是一个简单的问题区别以一种与世界相关的方式。许多人希望社会上的人承担更大的责任没有在社交上更容易接受和适应自闭症患者。尽管如此,通过对话,设计师们发现了一些关于常见社交困难的强烈共识,他们对应用程序的一些想法可能会帮助许多用户解决;他们决定继续推进应用程序,但要继续与所有利益相关者进行对话,他们被邀请在beta测试和营销阶段提供稍后的输入,以确保应用程序的功能和描述以适当的方式进行。

工具4:基于案例的分析

在道德实践中,能够跨案例转移道德知识和技能是至关重要的,这样我们就不会在每次分析道德状况时都“从零开始”。基于案例的分析工具是执行伦理知识和技能转移的基本和长期的方式。

基于案例的分析过程相当简单:

  1. 识别反映当前案例的相似或“范例”案例
    在哪里/何时发生过类似的案例(在道德层面上)?哪些是我们所面临的道德状况的“明确的”或“典型的”案例?
  2. 在所有案例中找出相关的相似点/不同点
    在道德相关的方面是目前的情况就像这些范例案例?(例如,这个案例影响了相同的利益相关者群体,或引入了相同的风险,或呈现了相同的道德困境)。在道德相关的方面是目前的情况不同的从范例案例中?(这一次风险降低了,这一次法律提供了明确的指导,这一次公众的情绪有所不同)。
  3. 评估范例案例的选择和结果
    是什么完成在范例案例中?做出了什么选择,困境是如何解决的,引入了什么保障措施,这个决定是如何合理的?然后问,发生了什么?结果如何?谁受益,如何受益?谁受伤了,怎么受伤的?公众/媒体/监管机构对这些选择有何反应?他们如何回应所给出的理由?做出这些选择的人会后悔、放弃这些选择,还是公开为自己的选择感到自豪?这个案例提供了道德成功的模板或模型,还是起到了警示的作用?
  4. 使用类比推理来识别并行风险,机会,解决方案,风险缓解策略
    这是棘手的部分。了解范例案例如何与此相似,并考虑其中的不确定性(历史不是这样的总是重复),我们对范式案例的伦理知识如何影响我们的伦理推理和判断案例?应该转移哪些教训?哪些以前行之有效的解决方案可能再次奏效?他们犯了什么错误,我们就有可能犯什么错误现在?这些风险被成功地缓解了现在可以用类似的策略来减轻时间吗?案例之间的相关差异如何限制或改变范式教训在当前案例中的可转移性?

实施例:D公司正在设计AI虚拟代理(AIVA);其目标受众是那些希望减少对办公室人工助理依赖的企业高管。在设计过程的早期,团队坐下来对虚拟助手的风险(包括道德风险)进行基于案例的分析。他们首先分析了AIVA成功推向市场的两个例子,一个是AIVA从未进入市场,另一个是AIVA进入市场但失败了。大多数典型案例涉及一些伦理问题;成功的公司大多能够解决这些问题,尽管有一家公司的产品在商业上仍然取得了成功,但却受到了媒体和监管机构越来越多的批评。

团队首先要确定两者的相同点和不同点。所有案件都涉及某种程度的隐私问题,包括本案。其中一些案例引起了人们对取代人类工人的伦理问题的担忧,目前的情况也是如此。其中两个范例案例是AIVA为与儿童互动而构建的,还有两个是用于一般用途的。然而,目前的案例针对的是一个范围更窄、社交能力更强的用户群:企业高管。因此,AIVA与儿童互动所提出的一些伦理问题并不适用于这里。但是,企业高管处理的法律和经济敏感数据和交易要比大多数成年人敏感得多,因此他们的隐私和安全问题被认为更加严重。所有案件都涉及公众对aiva的女性性别呈现的争议;鉴于女性在公司管理层中的代表性不足,以及对女秘书的刻板印象,这个道德问题在这里被视为比一般情况下更加敏感。

然后,团队研究其他AIVA案例中的设计人员/开发人员如何选择处理项目中涉及的道德风险、权衡和挑战(目前这些选择可以从现有信息中推断出来)。他们注意到每一种情况下的结果,以及结果与可能期望或预期的不同之处。他们研究了之前案例中的哪些风险/担忧,比如对人类工人的灾难性影响的担忧,最终被证明不是一个大问题(事实上,在所有范式案例中,劳动影响都是边际的);但他们也会研究这个案例是否表明了任何不同的轨迹。

他们使用类比推理来转移设计解决方案、权衡妥协和风险缓解策略,这些策略很好地发挥了作用,似乎应该再次发挥作用;在其他情况下,他们认为目前的案例在其伦理环境中是独特的,需要新的解决方案。他们还为目前的情况制定了一套最可能的情况/结果,并为每种情况制定了道德应对计划,以便他们准备好对可能的结果做出快速而明智的反应,而不是他们最期望或渴望的结果。事实上,他们转移的许多解决方案/策略都如预期般有效,但有一个解决方案适得其反;幸运的是,道德上的失败被包括在他们的计划场景中,他们有一个聪明的、框架良好的应对措施来解决这个问题。公司对问题的迅速而敏感的反应将产品从公关灾难、商业和道德失败中拯救出来——所有这些都是计划中的基于道德设计案例分析的团队练习的适度成本。

工具5:记住创造性工作的伦理利益

正如我们所看到的,设计师和工程师关注道德风险是很重要的。但如果我们不小心,这可能会导致我们忘记道德是关于一个积极的结果;它关乎人类的繁荣,包括子孙后代的繁荣,以及在这个星球上促进健康和可持续的生活。伟大的创造性工作推动了这些目标的实现,而合乎道德的设计和工程就是这种工作的有力形式。

然而,有时,我们的工作带来的短期的、不那么符合道德的利益(加薪、良好的绩效评估、老板或董事会的赞扬、顺利的投资者电话、季度奖金、股票上涨)会掩盖更大的目标,而这些更大的目标最初是激励我们做这项创造性工作的。

在最坏的情况下,道德动机的丧失或扭曲会导致大规模的企业腐败和失败(例如Theranos,安然),或者导致公司设法生存下来,但声誉受损,失去竞争优势(优步),和/或人们入狱(大众汽车)。在其他情况下,损害可能更加微妙,但同样真实——品牌受损,增长放缓,未能以人们关心的方式创新,那些有才华的人离开或士气低落,他们想要一个道德奖励的工作环境,招聘失败,以及员工越来越冷漠、抑郁、焦虑、超然或愤世嫉俗。

为了解决这个问题,它有助于实现一个工作流工具,使这些道德利益明确,并加深创造它们的真诚动机。重要的是,这种练习不应该演变成互相拍着背,沾沾自喜地赞美“让世界变得更美好”——它的确如此为了实现这一目标,它应该始终作为我们努力的目标,我们沾沾自喜地为自己所做的事情而庆祝,或者我们相信我们因为自己的聪明或善良而“注定”要做的事情。

为了将创造性工作的道德利益置于团队或公司激励机制的中心,可以一起问一些棘手的问题,比如:

  • 为什么我们要这么做吗,有什么好处结束
  • 有了这项技术,社会/世界/我们的客户真的会比没有这项技术更好吗?还是我们试图产生不真实的需求或人为的欲望,只是为了证明新产品的合理性?
  • 这项技术的伦理利益仍然是我们工作和思考的中心吗?
  • 我们愿意为此牺牲什么正确的

实现的例子:E公司的领导层注意到,尽管公司利润强劲,但整个公司的士气似乎都在下降。内部数据显示,员工对公司的价值观和对世界的影响越来越怀疑,对公司的长期愿景越来越不抱希望,他们更关注“拿到薪水,然后寻找更好的机会”。招聘人员表示,他们很难找到一些最优秀的求职者,这些人似乎担心这家公司“现在只是股价”,不会再真正投入精力做出积极的改变。

领导层组织了一次全体会议,旨在明确振兴公司的道德文化,并重申公司致力于其工作的道德利益。出于对愤世嫉俗的员工可能认为这是一种自私自利或毫无意义的做法的敏感考虑,领导层寻求各级受人尊敬的员工的意见,以了解如何传递信息并使之真诚。他们得出的结论是,为了展示公司在重振道德使命方面的真诚兴趣,需要进行一些关键的政策更改,因此他们在会议之前实施并宣布了这些更改。他们还开发了一种匿名调查工具,由可信的第三方管理,要求员工回答上述问题,并就进一步的改变(如果有的话)将加强公司的道德使命和决心提供意见。全员会议的一部分内容包括审查和公开讨论匿名反馈。

工具6:想想那些糟糕的人

2017年,谷歌前首席执行官、Alphabet董事长埃里克·施密特(Eric Schmidt)在旧金山举行的RSA大会上发表讲话时表示:“我们现在发现自己在一次又一次地修复(互联网)。”“你一直在说,‘为什么我们没有想到这一点?答案是,我们没有想到会有罪犯。”

正如我们在工具5中看到的,对我们的工作进行积极思考是道德实践的重要组成部分。但有时,当我们想象我们的工作只能由最聪明、最优秀的人以最聪明、最优秀的方式使用时,这种情况就会变成一种恶习。

在现实中,技术就是力量,总有一些人希望利用这种力量以牺牲他人为代价来造福自己。也会有一些人毫无理性地使用我们赋予他们的权力。然而,如果您正在构建或授权访问强大的东西,那么您有责任减轻他们的滥用达到了合理的程度。你不会递给一个小孩一把菜刀或点燃的蜡烛,然后走开。你不能把你的汽油罐和火柴借给纵火犯。你不会制作一款收集健康数据并以弱加密方式传输或存储这些数据的应用程序。

所以,这些问题需要在关键设计阶段提出:

  • 谁想滥用、窃取、误解、黑客、破坏或武器化我们所创造的东西?
  • 谁会以惊人的愚蠢/非理性来使用它?
  • 我们的设计无意中为这些人创造了什么奖励/激励/机会?
  • 我们怎么能删除这些奖励/激励?

实施例:F公司以婴儿监视器和家庭安全设备而闻名。它的设计师想出了一种设备的想法,让父母、保姆和日托人员可以通过一款应用程序,与嵌入在孩子衬衫领子上的微型RFID跟踪设备相连接,实时监控他们所照顾的孩子的位置。孩子用力按一下项圈就可以激活项圈,向应用程序发送“警报”信号,应用程序会发短信通知父母或保姆检查孩子的情况。然而,在设计过程的早期,设计师会进行强制性的“思考可怕的人”练习,他们会设想这项技术可能被滥用或误用的所有方式。

设计团队很快意识到,尽管他们最初设想的用例是看护人在客厅看电视,或让老人洗澡,同时让年幼的孩子在楼上或院子里安全地玩耍,但事实上,一些疏忽的看护人会试图用它来证明让年幼的孩子独自在家的理由(因为如果孩子离开家的范围,他们会收到短信通知,或者打电话求助)。他们还意识到项圈会继续发出超出家庭边界的位置跟踪信号,因此这些信息可以被儿童掠夺者网络使用,以寻找社区中无人看管的儿童的可视地图。他们还意识到,没有什么能阻止这种装置被偷偷地戴在青少年、配偶、伴侣、工人、朋友或敌人的衣领上。当他们考虑所有可能的不道德用例时,他们意识到他们最初的设计有严重的缺陷和不安全;他们决定放弃这个特定的设计项目,直到他们可以将应用程序更容易地限制到适当的用例。

工具7:闭环:道德反馈和迭代

大多数对设计/工程伦理的准确和有益的思考方式是一个持续的过程过程;的至少准确而有用的方法是把它作为一项需要完成的任务。道德设计是一个永不结束的循环,我们必须确保它是闭合的,以实现迭代。

伦理学是相对于利己主义者和反社会者可能理解的方式(道德只是“那些有权力的人说它是什么”)。人类的繁荣和这个星球上生命的可持续性始终是道德目标,任何使这些目标不可能或难以实现的事情都不可能是道德的(不,这些目标是道德的)不兼容)。但道德相对于追求这些目标的特定社会背景;一项技术在一个社会背景下(在严密的医疗监督下有控制地使用麻醉止痛药)促进了人类繁荣,但在另一个社会背景下(不受约束的“药丸农场”市场,制药公司付钱给医生,让他们开过量的麻醉药,忽视滥用),它可能会破坏人类繁荣。

因为社会总是在变化,我们也在变化,技术对道德的影响总是一个移动的目标。科技的发展更是如此本身不断地重塑社会环境和其中的人。一个设备或软件,其设计在其发布日期是严格道德的可能不道德的两年后,如果社会条件和用户基础发生了足够大的变化,其影响不再有利于人类繁荣。

这意味着伦理反思、分析和判断是优秀设计和工程的永恒元素;这些技能永远都是需要的。

因此,最重要的是将设计和工程文化——尤其是在土木和机械工程的专业安全文化没有很好地嵌入的科技行业——引入道德实践领域永久的转变.道德规范不是好的设计和工程的外部要求或附加条件。这不是一件被“检查”和遗忘的事情。这是一种保持我们所选择职业的最佳可能性的方式,一种成为并保持我们想成为的那种设计师和工程师的方式。

要将这种理解融入公司文化,需要采取一些具体步骤:

  1. 记住,道德设计/工程从来都不是一个完成的任务
    为了使这一点具体化,道德规范需要成为机构和团队记忆的一部分。除了成为团队现在正在做的事情的明确部分之外,它还需要成为我们如何描述我们在未来所做的事情的一部分过去的,以及为什么我们成功的充分意义技术设计和工程——不仅仅是商业上的成功。这也需要成为我们谈论的一部分未来;我们在设计和工程上的成功想要拥有和通过持续的道德实践。当道德被视为组织过去、现在的一部分时,而且未来,它将在公司的文化和身份中占据适当的位置。
  2. 确定反馈渠道,提供道德影响方面的可靠数据
    除非我们收集可靠的数据,否则我们无法知道我们的工作是否或在多大程度上真正取得了圆满的成功道德我们的设计对社会和特定利益相关者的影响。除非专门设计工具来引出和传递这类反馈,否则这种数据是不会出现的。任何产品设计计划都应确定收集道德影响数据的具体工具/模式/渠道;当然来自用户,但也来自其他受影响的利益相关者和团体。对道德上重要的制度(民主、教育、媒体)、文化元素(艺术、文学)或物理系统(食物链、海洋、气候)可能产生的影响,也必须以某种方式进行审计,因为非人不能为自己说话。
  3. 将过程与质量管理和用户支持相结合;标准化
    道德影响的审计不能是一个简单的审计特别的事件;它必须成为产品质量管理的一个标准特征。在任何可能的情况下,它应该与已经标准化的QA/QC和用户支持流程集成,而不损害审计工具的道德敏感性(例如,“高用户参与度”本身并不是一个道德敏感性指标,不能这样看待)。
  4. 制定伦理迭代的正式程序和责任链
    如何获得道德审计反馈分析了交流,使用在下一个设计周期中?谁将负责关闭这个循环?是谁负责任的道德设计整体?这些事情不会自己发生。留给那些有道德的人“良好的意愿”,尽管如此,他们还是会受到公司的激励,优先考虑问题-成功的道德标准,当道德灾难或衰落成为结果时,公司不能声称感到惊讶。一个公司可以得到它的激励结构和责任链奖励。如果处理得当,伦理设计和工程的正式程序和责任链不会使伦理“客观”或“不真实”——它们会使伦理“客观”或“不真实”有效的而且在世界上实现.这家公司有“价值观声明”、“首席道德官”和强制性的入职道德培训难道就没有正式实施和激励道德实践吗它依靠的不过是道德喷雾。

实现的例子:G公司致力于建立一种强大的道德设计和工程文化,以使其长期成功更具可持续性,并有助于赢回公众对技术为人类带来的承诺的日益削弱的信任。为了做到这一点,他们确保建立必要的结构来形式化和激励道德实践,并“闭合”道德设计和工程的“循环”,以便公司保持专注、敏捷,并对不断变化的社会环境做出反应,这些社会环境可以以意想不到的方式重塑其产品的道德格局。他们在公司对过去和未来的表述中融入了充满道德意味的语言。他们采用现有的产品质量管理和用户支持的结构和渠道,并加强它们,以获得有关其产品对不同个人、团体、机构、文化和系统的繁荣影响的道德相关反馈。他们为道德设计和工程创建了正式的程序和责任链,包括将该工具包中的许多工具实现到现有的设计和工程工作流程中。

这些“闭环”的措施能够持续改进其产品的道德规范,并有助于确保紧急的道德问题得到迅速和充分的解决。后来,他们从一个道德反馈渠道得知,他们的最新产品正在被滥用,成为针对偏远地区某个少数民族的有针对性的暴力行为。当地非政府组织通过该渠道提交了紧急警报,并迅速转发给QC部门的经理,他受过培训,有权组织公司对这类道德问题做出快速反应。召集适当的技术和管理团队后,负责道德产品设计的高级副总裁决定指示团队迅速推动产品更新,暂时暂停该地区正在使用的特定功能,并将此解决方案传达给非政府组织,要求当地确认其有效性。一个合理的公司回应解释了这一变化,并与它的道德原则和价值观声明的一致性,连同CEO对QC经理、副总裁和团队中领导回应的其他人的明确赞扬和感谢一起在内部流传。

2018年6月22日