来源：人机与认知实验室    原创 Ewart

王小凤 金潇阳 翻译

现代与技术的互动越来越多地从人类仅仅把计算机作为工具向人和有自主性的智能体建立联系，让自主性智能体代替人作出行动转变。在最近的一篇评论中，彼得·汉考克向人因工程领域发出了一个严峻的警告，即必须关注一类新技术的适当设计：高度自主的系统。在本文中，我们注意到了这一警告，并提出了一种以人为中心的方法，旨在确保未来的人与人之间的自主交互仍然集中在用户的需求和偏好上。通过编辑来自工业心理学的文献，我们提出了一个框架，将一种独特的类似人类的能力注入自主系统，建立并积极修复信任机制。最后，我们提出了一个模型来指导未来自主系统的设计，并提出了一个研究议程来探索当前在修复人类和自主系统之间的信任方面的挑战。

[业者总结]

该论文呼吁从业者将我们与技术的联系重新塑造成类似于两个人之间的关系，而不是一个人和他们的工具之间的关系。为此，设计具有信任修复能力的自主将确保未来的技术维护和修复与人类伙伴的关系。

[关键词]

信任修复；自主权；自动化；人性；人机合作

1.0 简介

在最近的一篇评论中，彼得·汉考克向人因工程领域发出了一个严肃的警告，即必须关注一类新技术的适当设计：高度自主的系统。在那次警告中，他认为，随着更多独立、自主的系统的引入，社会正处于重大变革之中，这些系统似乎与传统的自动化不同。他进一步认为，虽然这些新系统的开发正由从业者以极快的速度进行，但对心理和人为因素影响的研究可能被忽视。在这篇文章中，我们注意到了这个警告，并提出了一个以人为中心的方法，旨在为这些未来系统的设计者提供指导。最后，为了进一步讨论这些新的自主系统。

1.1 自动化和自主的新形式重新定义了我们与技术的关系

现代与技术的互动越来越多地从简单的人类使用计算机作为工具转向与自主实体建立人类关系。与代替用户执行一组有限的预编程监督任务的传统自动化系统相比，自主性是设计用于实现用户目标的技术(硬件或软件)，但不需要监督。这种高度自治技术的最新例子是Stuxnet病毒及其独立规划然后自动在互联网上传播的能力(Kushner，2013年)或Mirai未来组合僵尸网络，它们执行了迄今为止最复杂的分布式拒绝服务攻击(Graff，2017年)。同样重要的是，要考虑到高度自主的系统被计划尽早融入我们的日常生活。例如，空军最高层的人员一直在讨论一项名为“忠诚的僚机”的倡议，该倡议涉及与有人驾驶飞机一起飞行的自主无人飞机(例如，(格尼，2013；汉弗莱斯，科布，雅克，&雷格，2015)。此外，“无人自动驾驶”汽车已经开始在我们的社会中传播，像谷歌(布朗，2011)这样的公司开始测试无人自动驾驶汽车，以及在瑞士和芬兰测试的原型自动公共交通模式(如公共汽车)(迈耶，贝克尔，博施，阿克豪森，2017；罗默、琼斯、马里诺、海兰、索思伍德，2017；Salonen，2018)。鉴于此，我们开始研究与使用自主系统相关的问题是至关重要的。

具有自主性的系统特点是它们能够随着时间的推移进行学习和改变，动态地设定自己的目标，以及能够通过外部传感器信息或更新的输入数据适应环境条件。设计者可能主导这种系统的启动状态和参数，但是一旦部署，自主性将随着在不同环境中的使用而演化。这意味着这项技术有可能以意想不到的方式发展(库兹韦尔，2005)。由于这些系统的潜在不可预测性，自主性比较简单的自动化系统更有可能让人类伙伴感到惊讶(Sarter & Woods，1997)，这有可能极大地影响对这种技术的信任和采用。此外，因为自主系统不太像工具，而更像助手或合作者，他们可能会因为他们的独立性而花更多的时间与我们在一起，这将导致与这项技术的长期关系。例如，虽然亚马逊Echo、Alexa或Siri等新的永远在线、永远接近的虚拟助理类别尚未达到完全自主系统的水平，但它们被设计为永久驻留在我们的家中或留在身体上。最后，这些虚拟助手被设计为随着时间的推移学习我们的行为和偏好，从环境中收集上下文信息(例如，位置)，并从我们不断更新的用户简档中学习。由于这些能力更强的系统，我们对这些技术的依恋和动机可能会变得更深、更亲密(de Visser，Monfort，et al .，2017；Szalma，2014；威斯、肖、洛法罗和鲍德温，2017)。由于前面提到的自动化和自主系统之间的一些差异，我们认为有必要采用一种完全不同的方法来增强人机交互；一个自主系统和人类之间的关系不断变化的地方，反映了自主本身和人类感知的适应性。相反，人-自主互动的范式应该模仿人与人之间关系的丰富互动，应该采用人-人模型作为它们的初始标准；自主性应该能够利用现存的人类能力来检测来自他人的偶然信息。考虑到这一点，并受到人机交互模型的启发，我们建议未来的自主设计应该从社会科学中获得线索。尽管我们认为这是一种谨慎的通用方法，用于实现自主的新设计方法，在这篇文章中，我们将重点放在一个特定的人际关系特征上，我们认为这种特征有利于人际自主关系。为此，我们概述了一种可能的机制，作为健康关系的一个基本方面：信任修复。具体来说，我们建议研究人员必须1)将他们对人类自主系统的观点重新定位为超越简单的“互动”，而更多地是“关系”，2)进一步将人类关系研究的应用扩展到人类自主(马德哈万和威格曼，2004，2007a)。

1.2 进一步区分自动化和自治

虽然我们同意汉考克对自动化和自主性之间差异的初步观察(2017年)，但我们基于这一想法，使这种差异更加清晰，并将这种差异的含义纳入未来的研究议程。为了对自主系统的设计提出建议，以优化人与自主的互动，我们概述了一个框架，该框架将先前定义的自主概念与新的人性化设计概念并列，灵感来自社会心理学构造(哈斯拉姆，2006；哈斯拉姆，贝恩，道格，李和巴斯蒂安，2005)。我们将人性化设计定义为旨在与人联系和交流的任何策略、机制和自主特征。我们的人性概念是有意宽泛的，其定义只是为了捕捉与他人联系和交流的设计意图，但我们的概念包含了哈斯拉姆(2006)的两种人性意识，包括1)独特的人类特征；使我们区别于其他生物的人类特征(即文明、文雅、道德情感、理性、成熟)，以及2)人性；代表人类本质的人类特征(即情绪反应、人际温暖、认知开放性、能动性、深度)。可以说，任何自主设计都至少需要一些人性化(即接受用户输入的机制)，但这个轴上的更高层次接近人类的外观、情感、行为和能力。

图1 现有的和虚构的代理人的概念表示，以自治和人性化设计的程度绘制

图1展示了我们如何在现有的自治系统定义的基础上进行构建。该图示出了相对于人的设计(即，设计用于与人连接和交流的特征、策略和机制)的自主水平(即，无监督行动的能力)的概念表示空间。利用这两个维度，我们创建了四个不同的象限，代表了看似不同的机器质量类别。左下象限代表当前或不久的将来，以及虚构的表示，意在代表自治系统的范例。例如，设计用来玩策略游戏的机器，如围棋或象棋(AlphaGo，DeepBlue)，代表了中等程度的自治，因为这些系统朝着一个目标运行，如赢得游戏，并且不需要监督。然而，这些形式的自主性在人性化方面非常有限，因为它们不是明确设计来与用户直接通信或交互的；这些机器只是为一个特殊目的而设计的算法。在同一象限内的是目前的机器人宠物，如艾博或帕罗，它们被明确设计为与人类互动和交流，但几乎没有或没有自主权，可能有一个分散的目标或没有目标，除了为人类提供娱乐、陪伴或舒适。更高层次的自主性或人性化设计大多由虚构的例子来代表。因此，象限内的相对位置是近似的，并且基于它们在电影中的描绘。因此，图中的小距离不应理解为精确。

高度自主但适度的人性化(左上象限)代表了工具，这些工具可以自行实现目标，但与操作员的沟通不是主要关注点，因此他们的沟通能力有限(例如，基本的输入和输出模式)。也许最经典的例子是超智能的人工智能天网，它在终结者电影系列中是高度自治的(即，它有自己的自我保护目标，并自主地按照这些目标行事)，但对于直接的人类通信能力或考虑有限。高度的人性化，但适度的自主性(右下)代表了明确设计用于与人类交流和互动的机器，因此它们可能具有高度发达的输入和输出模式(自然声音、手势交流、幽默或态度)或使用旨在与人类融合的外观线索(拟人化外观)。然而，他们可能几乎没有能力产生或实现自己的目标，或者除了提供陪伴之外没有其他目标。具有高度人性化和高度自主性的技术(右上象限)代表了有自己意图和目标的机器，并且在几乎没有人监督的情况下运行。

该框架既捕捉了当前的技术，也捕捉了预期的虚构技术。从这个概念框架中，可以得出几个结论。

1. 如果设计需要与人类用户的联系和沟通，就需要增加人性化。我们认为，随着复杂性的增加和用户之间潜在的不匹配，人性化的设计是必要的人工智能的感知和能力(塞米格兰、莱文、努迪和梅罗特拉，2016)。

人性化将成为必要的界面特征，因为我们相信它代表了一种传达复杂自主行为的最佳(高带宽、低资源要求)方式(如面部表情；(切尔诺夫，1973；Nass &Lee，2001；Nelson，2007；Semigran等人，2016年)。

2. 将人性化纳入设计可能是一个平衡因素，以防止不良

自主。为了创造一个平衡的自主道路，我们提倡在早期就融入人性的自主。我们认为技术应该为人类世界而创造。没有人性的自主会创造出强大的机器，但这些机器会与人性脱节(最少的是出圈现象)。没有自主性的人类创造了和谐的社会机器，但这些机器相当于我们以前的工具。这两个设计方面的结合可以有效地提高自主性(Waytz，Heifner & Epley，2014)。

3.平衡自治——人性可能代表不友好实体控制人性的一种方式

自主系统的目标和意图必须对用户透明。微妙的意外和不希望的影响的例子是算法中的偏见(脸谱网、亚马逊、谷歌)和一家公司将其商业目标强加给用户，如赌博(丽娃、萨基和布兰比拉，2015年)。

对于前面提到的自动化系统和表现出自主性的系统之间的所有差异，前面确定的自动化问题(例如，跳出循环综合征、模式意识、自满、信任)预计不仅存在，而且会被放大，这种现象被称为伐木工人效应(Onnasch，Wickens，李，& Manzey，2014)。此外，我们期望一类新的问题是自主系统所独有的；这些都是由这些系统的独立性带来的，也是由它们与用户交互的方式带来的。例如，虽然传统的自动化研究高度关注自动化对用户性能的影响，并在一定程度上关注主观感知，但我们预计人类与高度自主系统的交互将导致高度情绪化的反应，与传统自动化相比，对自主的接受和使用将在更大程度上受到社会和心理因素的支配。

自主系统带来的另一个主要挑战涉及系统应该向操作员传达的信息水平。在人因工程文献中，关于人与机器之间关系的术语使用发生了变化，研究人员现在用“人机合作”来代替更传统的“人机交互”(陈和巴恩斯，2014)术语的这种变化代表了底层HCI框架的变化，使得机器从“工具”(即自动化)演变为“队友”(即

自主)。在人与人的伙伴关系中，沟通一直被视为团队合作和协作的一个重要方面——团队成员通过对环境的共同理解和对绩效的共同期望来预测和预测彼此的需求，从而进行协调(萨拉斯、西姆斯和伯克，2005)。人类自主伙伴关系也将受益于这种类型的沟通(克莱恩，伍兹，布拉德肖，霍夫曼和费尔托维奇，2004年)。除了传统的闭环沟通方式(McIntyre & Salas，1995)经常出现在优越的人-人团队中，还需要沟通系统的透明性(Chen & Barnes，2015；里昂，2013年)。系统透明性是系统的质量，支持对系统行为、意图和未来目标的理解(陈、普罗奇、博伊斯、赖特和加西亚，2014)。虽然透明度已被确定为一个重要的研究领域，但究竟有多少透明度是必要的，以及应该准确传达哪些信息和线索，仍是一个悬而未决的研究问题(德·维瑟、科恩、弗里迪和帕拉素拉曼，2014年；贝利格里尼·森田，森田&伯恩斯，2014)。重要的是，应该有足够的透明度来支持和促进信任校准(陈等，2014；Mercado等人，2016年；Zuk & Carpendale，2007)。

2.0 高频研究忽略了积极修复信任的可能性

除了最近关于自主的限制和风险的一些讨论(汉考克，2017；伍兹，2016)，许多人的因素研究团体大多忽略了根据对这些新的自主关系的更多要求来看待自主的发展，与自动代理和机器人系统的礼仪和礼貌的研究和讨论除外(比克莫尔和卡塞尔，2001；海斯&米勒，2010；Jung，2017；迈耶，米勒，汉考克，德维瑟，多内奇，2016；Parasuraman & Miller，2004)。虽然有些人提出了在技术系统背景下修复信任的好处(如霍夫曼等人，2009年；霍夫曼，约翰逊，布拉德肖和欠林克，2013)或增加自治系统的一般社会性质(Kwiatkowska & Lahijanian，2016年，9月；森田和伯恩斯，2012年)，很少有后续工作探索这种可能性。相反，许多努力主要集中在改进人的自动化信任校准上(例如，(de Visser等人，2014；McGuirl & Sarter，2006)，增强系统的总体透明度(Koo等人，2014；Mercado等人，2016)，传达意图(Schaefer，，Chen，Putney，& Evans，2017)，传达不确定性(Helldin，Falkman，Riveiro，Dahlbom，& Lebram，2013)，评估系统的可靠性(van Dongen & van Maanen，2013)。这并不奇怪，因为长期以来，人们成功地将自动化系统视为放在桌子上或安装在驾驶舱中的独立工具。虽然这项研究本身非常有价值，对于创建人们可以理解和使用的可解释的人工智能和系统至关重要，但我们认为，鉴于形式、环境和未来自治互动的可能性的多样性，一个更加积极和可交易的自主范式至关重要，不应被忽视。我们认为，除了更好的机器信息和用户培训，我们还需要对技术本身提出更高的要求，并为自主系统配备更好的人类能力，可以说是“半途而废”。这种新的自主需要不同于自动化的范例，原因有几个；这需要研究界改变态度。为了清楚起见，我们对自动化系统(例如，现有的自动化系统，如GPS导航)和显示自主性的系统(例如，无人机可以使用传感器检测障碍物来导航未知路线)进行了区分，如前所述。自主性需要一种弹性的工程方法(伍兹，利韦森和霍尔纳格尔，2012)，能够主动预测和处理错误。我们相信在出现错误后主动修复信任，任何自主设计的一个基本部分都应该是无意的行为。直接评估计算机违规后修复信任效果的研究很少或已经过时。例如，错误后的道歉通常对人们的情绪和对电脑的感觉有积极的影响(阿克京，卡尔蒂，泽里克，2010；曾，2004)。其他人已经表明，信任弹性随着强调道歉的自动化而增加(de Visser等人，2016)。还有一些人探索了礼貌对用户与自动化和机器人系统交互的影响，这表明通过建立个人关系与用户建立信任是有希望的(Dorneich，Ververs，Mathan，Whitlow，& Hayes，2012；海斯&米勒，2010；英博&迈耶，2015；克劳斯，斯特恩，赖泽，鲍曼，2015；李、金、金、权，2017；龙，卡尔平斯基&布利斯，2017；Seo等，2017；Srinivasan & Takayama，2016；Torrey，Fussell，& Kiesler，2013)。一个值得注意的例子是一项研究，该研究表明机器人可以通过修复干预来提高违反规范的程度，从而帮助调节团队冲突(Jung，Martelaro & Hinds，2015)。需要更多的研究来确定自主修复信任对人们的确切影响。

因此，我们提倡一种新的标准来建立自主性，这种自主性可以起到类似于生产性人际关系的作用。不要悲观，就像在人类团队中一样，意想不到的事件很可能会成为日常事务。就像自动化系统一样，完美的自治可能无法保证或不可行(汉考克，2017；Parasuraman & Riley，1997；Woods，2016)。自主误差、错误和不匹配的期望可能是全新的，需要一种新的解决方案来增强人机交互。出错后需要快速调整。期望需要更快地调整。

我们已经指定了一种方法(见图2)，研究人员和设计人员可以在早期人机合作工作的基础上采取这种方法(纳斯、福格和穆恩，1996；纳斯，月亮，福格，里夫斯，烘干机，1995年；纳斯、斯特尔和陶贝尔，1994)。该模型首先询问自治是否应该充当社会代理人。可以使用人-人模型，也可以使用新开发的带有设计建议的人-自主框架，为这类问题提供初步答案。下一步是从经验上验证人们是否真的将自主性视为一种社会因素

图2 决定何时应用人-人或人-自主框架的模型

无论这是提高还是损害性能。然后，这个测试的结果可以用来更新模型，提供具体的设计建议，并进一步加深我们对人-人自治团队的了解，以及哪些因素类似于人-人自治，或者团队工作的哪个方面可能需要一种独特的方法来处理团队中的自治。这种方法的好处是利用了人-人团队世界中已知的东西，同时确定了需要特殊设计和培训考虑的自主性的独特方面。人为因素团体在调查人机团队有效性的研究中以各种形式接受了这种方法(艾哈迈德等人，2014年；Bagosi，Hindriks & Neerincx，2016；陈巴恩斯，2014；de Greeff，Hindriks，Neerincx & Kruijff-Korbayova，2015；de Visser & Parasuraman，2011年；德维瑟，帕拉素拉曼，弗里迪，弗里迪和韦尔特曼，2006年；高，卡明斯，索洛维，2016，2014；McKendrick等人，2013年；Walliser，2017)。工业心理学(Lewicki，Tomlinson，& Gillespie，2006)，社会心理学(Thielmann & Hilbig，2015)和大量关于人-人团队合作的文献(Salas & Cannon-Bowers，2001；萨拉斯，库克和罗森，2008)提供了许多人-人团队模型和信任研究。最好的人类团队实际上是在建立融洽的关系，修复信任，暴露自己的心理弱点(杜希格，2016)。这种结构通过团队成员参与自适应备份行为来相互支持。这正是我们需要灌输给自主系统的行为类型，以促进良好的人类自主团队合作。对于最初的想法和框架，本文重点研究人类团队内部的信任修复，以及当信任崩溃时，哪些方法可以有效地修复信任。

3.0 开始研究信任修复的一个好地方是关于信任修复的组织文献

对于“管理”人类自主信任的想法，我们从研究人类信任修复的日益增长的研究领域中获得灵感(克雷默和莱维基，2010)。自动化文献中的信任始于以人与人之间的信任为模型，并与自动化中的信任进行比较和对比(马德哈万&威格曼，2004，2007a，2007bMuir，1987；穆尔&马里，1996)。从本质上来说，我们正在重新审视这种方法，看看它是如何根据自治的新发展来应用的。

3.1人际信任修复框架和模型

在这一研究领域，信任被定义为一种心理状态，在这种状态下，一个人基于对另一个人的意图或行为的积极期望而接受脆弱性(卢梭，西特金，伯特，卡梅勒，1998)。因此，违反信任是一方的行为，是一种越轨行为，削弱了另一方对越轨者的信任。信任修复被定义为在违规发生后使信任更加积极的行为(Kim，Dirks，Cooper & Ferrin，2006)。信任修复行为的一些例子是道歉(内部归因接受责任)或否认(外部归因将违规归咎于其他地方)。信任修复可以区别于信任的发展或信任的初步建立(伯格，迪乔，麦凯布，1995)。例如，快速信任是指技术专家(如外科医生)通过快速识别专家行为(如手部动作)来快速建立信任的概念。虽然大部分研究正确地集中在建立信任上，因为它是随后信任的重要预测因素，我们相信信任修复值得类似的认可。一些研究表明，修复信任的能力实际上是健康关系的一个指标。鉴于我们正在进入更亲密、更长久的自主关系，我们可能需要类似的框架和结构来评估与机器的关系的健康程度。

在组织行为学文献中，信任修复是在实验中研究的，在实验中，参与者被置于信任被破坏的情况下，并进行修复尝试。在违反信任之后，可以采取纠正措施来修复失去的信任(Dirks，Lewicki & Zaheer，2009；Gillespie & Dietz，2009；Kramer & Lewicki，2010；汤姆林森和梅耶尔，2009)。这项工作检查了关系信任修复方法(席尔克，雷曼和库克，2013年)，组织(吉莱斯皮和迪茨，2009年；Nakayachi & Watabe，2005)和《社会的整体》(Slovic，1993，1999)。然后评估信任以确定修复是否成功。例如，Kim等人(2006年)让参与者充当招聘经理，负责评估求职者的视频面试。在视频中，求职者被发现有违反信任的行为(即在税务表格上的违规行为)，视频展示了求职者修复信任的尝试。申请人要么为违规行为道歉，要么否认责任。提出的信任修复机制包括重塑因果归因，如罪责(无辜/有罪)、因果关系所在地(人/情境)、可控性(可修复/固定)和稳定性(暂时/恒定)(Dirks等人，2009年；金，德克，库珀，2009；汤姆林森和梅耶尔，2009)。基于这种理解，研究人员检查了哪些方法对修复信任最有效，并解决了互动的双方:从违法者的角度来看道歉的作用(德克、金、费林和库珀，2011年；Kim等人，2006年；金，费林，库珀，德克，2004；施韦策，好时和布拉德洛，2006)和从受害者的角度刺激宽恕的因素，如可爱度，责备归因，未来侵犯的概率，和产生同理心(布拉德菲尔德和阿基诺，1999；麦卡洛，沃星顿，马克西，瑞秋，1997；汤姆林森，迪内和莱维基，2004)。这些都是潜在的富有成效的技术信任修复干预，这些方法可以很容易地应用于实验环境。

3.2人类自主信任修复模型

信任修复策略可能对人类和计算机代理都有效。信任修复的概念虽然在人机环境中是直观的，但在人机交互环境中可能很难直观地可视化或理解。然而，用户通常可能一天多次参与一种简单形式的机器信任修复。考虑您的计算机应用程序可能已经失败，或者网络连接丢失，但是系统通知您失败的原因并提供道歉的情况。在这些情况下，用户可能会变得理解，并且对系统的信任不会被永久破坏。通知或解释是信任修复的一个简单例子。一篇关于人的因素的新兴文献从理论上和经验上证明了人和机器之间的显著差异(德·维瑟等，2016；马德哈万和威格曼，2007年b；Pak，Fink，Price，Bass & Sturre，2012)。首先，计算机被认为比人类更可靠的部分原因在于它们的不变性。如果用户认为计算机的行为是固定的，不太可能改变，那么来自计算机的道歉可能就不那么有效了。其次，提供简单的道歉通知或解释可能不足以让一个自治系统也改变自己的行为并从错误中吸取教训。这些结果的含义是，人与人之间的互动不能自动复制到人与自助系统之间的交互，应该得到测试和验证。

受组织文献工作的启发，我们基于以前提出的模型创建了一个初步的信任修复关系框架(Tomlinson等人，2004；汤姆林森和迈耶，2009)，涵盖三个主要阶段，包括1)关系行为，2)关系调整，和3)网络受害者效应(见图3)。这个框架描述了一个自主的机器参与者的行为，以及他们对一个人类代理参与者的感知。

3.2.1关系行为

信任修复周期始于受托人的关系行为。这种行为可能代价高昂，也可能有利可图。昂贵的行为被委托人视为对关系中的信任有害。对于自主机器，这些行为可能是错误、损坏、时间损失、效率低下和通信错误。有益行为是被人类视为积极或愉快的互动的行为。这些可以是良好的性能、算法能力的展示、礼貌或愉快的闲聊。有益行为可以作为一种整体关系机制，建立或积累善意、耐心、可信度和宽恕。

3.2.2关系调整

关系调节法是一种对关系行为提供立即或延迟纠正措施的行为。这些调节行为对于维持开心稳定的关系至关重要(戈特曼和莱文森，1992)。戈特曼和莱文森(1992)确定了两种假设的监管关系行为，包括修复和抑制。修复法案旨在减轻昂贵的关系法案的影响(戈特曼，2005)。抑制行为旨在减轻有益关系行为的影响。这两种行为都是保持最佳关系平衡所必需的。

3.2.3净受害者效应

净受害者效应是损失信任和修复行为或有益和抑制行为对人类主体的感知和体验的综合影响。此外，每个人在如何看待代价高昂或有益的行为及其相应的监管行为方面会有所不同。一些研究记录了个体差异对信任的影响以及影响信任的个体差异(梅里特&伊尔根，2008；罗维拉、帕克和麦克劳克林，2016年；辛格、莫洛伊和帕拉素拉曼，1993年；Szalma & Taylor，2011)。信任修复模型必须包含信任感知中的个体差异，以及调和和恢复关系的意愿中可能存在的个体差异。

3.3 恢复信任的速度:措施和修复干预

上一节概述的模型模拟了一段关系中的单个行为。显然，许多行为发生在一段关系的过程中。因此，我们创建了一个假设的信任修复周期的信任轨迹(见图4)。此图中显示的等级范围从1(低信任)到10(高信任)。信任可以从中度到高度开始。在驾驶环境中，可能会发生小的违规行为，从不便(刹车太快)到大的违规行为(撞上另一辆车)。发生违规后，可以尝试修复信任。一些信任修复努力，如承诺，可能会导致比其他人更快的恢复(施韦策等人，2006年)。例如，根据恋爱经历的时间长短，也有可能向基线自然恢复(席尔克等人，2013年)。量化该模型的研究的主要目标是创建一个预测理论和框架，可以预测许多现象，包括1)基于个人个性的信任违规可能发生的时间，2)违规的程度和影响，3)信任修复干预的程度和影响，以及4)预期的信任修复率、程度和恢复轨迹。

图4 可能的信任恢复轨迹

图4立即提出了一个问题，即哪种信任修复努力会导致最快的信任恢复。表1概述了可能的干预措施及其说明。在支持这项技术的证据存在的地方，我们引用了这项研究。此表旨在说明问题，并非所有可能的维修形式的详尽列表。该表是修复信任研究人员和设计人员可能希望检查的类型的初步列表，并强调了该领域正在进行的研究。我们希望并期待在未来，这张表将会增长，并将通过研究得到验证。

表1 .信任修复类型和描述。

为了进一步说明信任修复策略的不同之处，我们将在下一节中描述一组示例。

3.4 插图示例

作为信任修复策略如何用于高度自治系统的一个具体例子，想象一下自动驾驶汽车的驾驶员的场景。与目前可用的车辆不同自主技术(例如，自适应巡航控制、自主紧急制动)，真正的自主车辆将能够接受目的地，在考虑当地条件后规划路线，并完全导航到目的地(国家公路交通安全管理局，2016年)。自动化(例如，自动制动)和自主(自动驾驶汽车)之间的关键区别在于，前者的行为是相对确定的，而后者由于高度的自主性而不可预测。当驱动程序与如此高度自治的形式交互时，简单的通知或解释可能不足以修复信任。在这些情况下，当系统不可避免地出现故障时(例如，选择非最佳路线，与另一辆车发生事故)，采取主动措施来修复信任变得更加重要。

我们将通过三个小例子来强调自动驾驶和信任修复的可能例子。我们在这些描述用虚构的自主技术修复信任过程的小插曲的特征的背景下讨论该框架。我们的重点是强调轻微的用户体验问题，而不是更严重的违反信任的情况，如事故。在这些情况下，恢复会很难，这些方法可能不会那么有效。在下一节描述的研究议程中，我们讨论了严重且不可恢复的信任违规的一些方法和挑战。

3.3.1驾驶风格不匹配

约翰正在他的自动驾驶汽车的轮子前放松。它处于完全自主模式，在繁忙的高速公路上行驶。这辆车为了绕过速度较慢的车，换了很多车道，这是约翰通常喜欢的驾驶风格。然而，在第四个车道转弯处，约翰对汽车保持的紧密跟随距离感到有点不安。他觉得太近了。汽车察觉到了他的不安，说道:“我注意到你在我换道后感到不安。为了更快到达目的地，我换了很多。很抱歉给您带来不便。你要我调整跟车距离还是维持车道？”约翰确认，汽车调整其行为。约翰放松下来，旅途顺利进行。在这个例子中，我们可以将信任修复的周期分解如下。成本行为是车道转换的次数和跟随距离。净受害者效应是让他不安，减少信任，因为车应该知道他的喜好。监管法案是为了检测不安，道歉，并通过改变行为来回应。净受害者的影响是，他现在更喜欢乘坐。在本例中，由于系统的主动响应，信任很可能已被修复到违规前的水平，甚至得到增强。

3.3.2人类-机器人救援受害者信息

弗吉尼亚发生地震，许多房屋倒塌。苏珊，一个67岁的寡妇在废墟下，活着，但被埋葬了。城市搜索和救援(USAR)在她的社区部署了一个单位，并释放了一个自主机器人。机器人挖进她的房子，能够清除足够多的碎片，露出她的脸。机器人检测到她的声音中的压力和不适，并开始对话以检索关键的医疗信息。“你好，我是援救机器人。我是来帮助你的，我已经通知我的团队来进一步挖掘你。为了便于快速响应并为您提供最佳帮助，我需要了解一些医疗信息，如您的病史。”苏珊犹豫了。尽管看到机器人的帮助她松了一口气，但她仍然感到震惊、困惑、疲惫、不舒服和紧张。另外，苏珊从来没有和机器人互动过，对技术普遍不适应。她问:“你会怎么处理这些信息？我能和一个人说话吗？”机器人试图安抚她并说:“我想尽快把你和一个人联系起来，但是我没有在结构中得到这么深的接受。向您保证，这里记录的所有信息都将严格用于为您提供更好的医疗保健，并符合国会通过的HIPAA，以确保医疗信息的隐私。您的医疗信息只能与医疗专业人员共享。一旦我有了你的医疗信息并记录了你的生命体征，我就可以找到空地把这些信息送回我们的基地。我强烈建议你和我分享你的病史。”苏珊继续告诉机器人她目前的状况。

在这个例子中，我们可以将信任修复的周期分解如下。有损失的行为是对隐私的潜在侵犯。受害者的净影响是她担心她的医疗信息没有得到保护。监管法案是为了保证她的信息受到保护。受害者的影响是她泄露了自己的医疗信息。在这个例子中，基于很少的经验，苏珊不信任技术，但系统能够通过向她直接提问提供保证来修复她的不信任。

3.3.3个人助理示例

大卫已经购买了一个萨曼莎个人助理设备，它具有先进的自主能力。它可以访问他的电子邮件、病历、购物、娱乐消费习惯等。大卫给萨曼莎下达了“改善大卫生活”的总体指示。通过分析，她注意到大卫经常喜欢看一部无脑的动作电影来放松自己。在检查了最近电子邮件的内容、饮食习惯和活动水平后，她推断大卫压力很大。为了减轻他的压力，她决定租下电影《木乃伊4》，价格为4.99美元。大卫回到家，惊讶地发现电视开着，电影却在播放。他问萨曼莎发生了什么，她告诉他她做了什么。大卫说“如果你在买电影之前通知我，我会更喜欢”。萨曼莎道歉说:“对不起大卫，我只是想让你在经历了一天的艰难后感觉好点。要不要我取消这部电影，把资金退给你的账户？”。大卫对此很满意，他说:不，电影现在听起来确实不错。请也点我最喜欢的中国菜。我需要一些消遣”。

在这个例子中，我们可以将信任修复的周期分解如下。成本行为是未经许可购买电影。净受害者的影响是这个决定的惊喜和烦恼以及经济损失。监管法案旨在提供一种解决问题的简单方法。受害者的净影响是，通过知道他能控制局面，他决定接受建议。3.5自动化设计中修复策略选择的初步指南任何信任修复策略的一个重要方面是根据违规的性质和规模以及可能的情况(如上述示例所示)给出适当的响应(表1)。给定对信任冲突的各种可能的响应，设计者如何选择合适的信任修复策略？现在给出明确的建议还为时过早，因为目前正在进行的研究旨在1)验证人机环境中人机信任修复策略的适用性(尽管最初的研究很有希望；(奎因，帕克，&德维瑟，2017)和(2)验证我们的修复框架在特定环境中的有用性(马里纳乔科，科恩，帕拉苏曼，&德维瑟，2015)。虽然这个建议可能有些不成熟，但我们可以根据自己研究的初步结果向自主设计者提供一些一般性建议，以及关于人际信任修复策略的更广泛的文献。

首先，一个显而易见的建议是，单一的信任修复策略(例如，道歉)不应该一般性地应用于系统。道歉策略只被证明在人与人和人与机器的关系中，对某些类型的侵犯行为保持或修复信任(金等人，2006；Quinn，Pak，& de Visser，2017)。此外，作为人性化设计的提示，人们对道歉的反应可能有无数的个体差异；来源从认知(如工作记忆能力差异)、性格(如服从权威)到经验水平。例如，以前的工作表明，用户对电脑奉承的积极反应程度取决于他们的经验水平(D. Johnson，Gardner & Wiles，2004)。早期的工作也证明了这种方法的成功，通过配对驾驶员情绪和汽车声音(Nass等人，2005年)。最近的工作证明了具体的驾驶行为如何与个人用户偏好相匹配(巴苏，杨，亨格曼，辛哈尔和德拉根，2017)。

其次，我们建议自动化设计人员将信任修复策略(例如，道歉或拒绝)与违规类型精确匹配。更具体地说，我们建议当自动化出现基于能力的故障时(它出现故障、不可靠或无法完成任务)，任何信任修复策略都比没有好。但是，当它提交基于完整性的失败(它提交了与用户的价值观或愿望不一致的行为)时，拒绝更好地保持信任，同时警告完整性失败是合法的或被确认为合法的(即违反与用户的价值观或愿望不一致)。基于完整性的故障在大多数自动化系统中有些罕见，但在未来自治和基于人工智能的系统能够自己做出决策的例子中可能更常见。应该注意的是，该建议类似于人类-人类信任修复文献中的发现(例如，Kim等人，2006年)，并且在人类自主的背景下具有一些尝试性的支持(Quinn，Pak，& de Visser，2017年)。此外，完整性故障不一定是由自主机器造成的，而是由创建该设备并对其负有主要责任的组织造成的。例如，Facebook现在被认为应对其规范新闻订阅的算法中的偏见负责(《经济学人》，2017年)。这是一个很好的例子，说明了技术的完整性与它在组织中的功能紧密相关。最终用户如何区分机器的完整性和对组织的感知是一个关键的研究问题，它将直接告知这些机器是如何设计的。

第三，一个重要的问题是违反信任的背景，如环境和它发生的具体情况。虽然人与人之间的信任修复文献没有更仔细地检查围绕信任违反性质的上下文因素，但自动化研究表明，上下文在不同用户如何感知和应对自动化失败方面至关重要(霍夫和巴希尔，2015年；Hoffman等人，2013年；米图，索奇，瓦格纳，&无法无天，2016；Pak，Rovira，Mclaughlin & Baldwin，2016；谢弗，陈，艾尔玛，汉考克，2016)。每种情况下的风险程度都有重要的含义(萨特菲尔德，鲍德温，德维瑟，肖，2017)。例如，当自动化失败时，与其他情况相比，用户对某些情况更宽容(即信任受影响更小)(de Visser等人，2016)。这种差异有望延续到自治领域。例如，在关键环境(例如，自动驾驶汽车)中的信任违规可以被直观地预期为比在不太关键的环境(例如，被设计来帮助服装选择的人工智能)中的违规更难修复。信任违规和修复工作也将对城市搜索和救援领域的人类机器人团队产生独特的影响，正如我们在简介中强调的那样(de Visser，Pak，& Neerincx，2017；汉考克等人，2011)。即使在同样的背景下有信托代理人，仍然可能有关键的偏见，如全系统的信任，需要仔细检查(赖斯和热尔斯，2010年；Walliser，de Visser，& Shaw，2016；2016年冬季)。

第四，设计的一个基本问题是修复策略的时机。最近的工作表明，在下一次决策机会时为用户道歉比在违规后立即道歉更能保持信任(Robinette等人，2015，2017)。产生这种效果的一种可能机制是，用户不必回忆道歉，而是在信息与他们的即时决策相关时对其进行处理。设计者将需要对他们的修复策略进行计时，这将需要一个模型，该模型可以精确地检测何时发生违规，并跟踪用户下次必须做出关键决定的时间。最后，设计者应该跟踪一个信任修复策略应该被执行一次还是多次，并在表达上有一些可变性以获得最佳效果。目前的语音系统，如亚马逊回声或苹果的Siri，将为同样的错误以同样的方式道歉。这种策略可能会让用户听起来不真诚，最终可能会破坏其有效性。道歉的表达方式或陈述问题原因的可变性可能更有效。如果道歉没有在自主方面改变行为，这也可能在机器上反映不佳，听起来也不真诚。设计者应该记住，不要过度承诺超出机器能力的能力，并且作为不希望的副作用，把期望提得太高。虽然我们已经为设计师提供了一些初步的指导，但我们强调需要更多的研究来支持和验证这些建议。我们鼓励研究人员和设计人员尝试这些方法，并与社区分享他们的研究。图2中概述的一般方法应该为开始提供一个初始框架。为了进一步支持这一重要领域的未来研究，我们现在转向一个具体的研究议程，以解决我们认为应该研究的关键问题。

4.0 研究议程

将人与自主的关系视为管理两个自主实体之间的关系，为未来的研究开辟了许多可能性。研究人员的最终目标应该是模仿功能最好的人类团队；这本身就是一个巨大的挑战。我们可以通过直接比较人-人团队和人-自主团队来评估人和自主机器对团队的独特贡献，并评估他们的个人和联合绩效贡献，从而实现这一结果。有了这种方法和关于人-自动化交互的现有知识，同时利用丰富的组织和社会心理学文献、理论和框架，我们不仅可以探索新的问题，还可以发现其他领域提供的解决方案的新方法。这种方法将允许我们描述人类自主团队如何过渡到像人类团队一样工作。这种方法将告诉我们最好的团队合作类型，以及人类自主团队成功道路上的独特障碍。本文最后简要概述了这种方法的一些挑战、研究领域和未来研究的想法。

首先，将人类自主信任视为一种可以管理的关系必然意味着事件的时间进程。如前所述，从设计的角度来看，最有用的是能够以可解释的方式将信任快速恢复到违规前水平的策略或条件，并且可由机器操作；也就是说，可以从环境(例如，人类行为、环境意识、系统可靠性)中获取输入并采取行动提供适当响应的模型或算法。大多数人凭直觉理解这一概念，根据违反的性质和程度，会对试图迅速恢复信任的另一方产生行为。我们能让自动机器表现得如此适应性吗？

对于算法的概念，基本的工作是必要的，以阐明不同类型的自治系统违规或机器故障对人类信任的精确影响。当涉及到组织-人和人-人的信任时，组织文献在建立这些概念的有效性方面走得很远。但是这些概念适用于人类自主关系吗？这不是一个简单的问题。直观地说，我们期望基于诸如违反的程度或类型以及领域(例如，交通、医疗保健、消费者应用)的因素的自主交互的差异。例如，无人驾驶汽车中的机器故障比个人助理的机器故障对信任的影响要大得多。对于某些用户来说，机器故障对信任的影响可能会更大，这进一步增加了复杂性。例如，年轻的司机可能会认为自动驾驶汽车的失败是“条约破坏者”，因为他们对驾驶的自信将超过他们的信任(J. D. Lee & Moray，1992)，而老年人可能更容易原谅这种错误，因为他们依赖技术，无论多么有缺陷，以实现行动的独立性(Donmez，Boyle，& Lee，2006；Pak，McLaughlin，Leidheser & Rovira，2017)。然而，能够合理预测某种类型的机器故障对信任的影响的算法的存在，仅仅是实际修复信任的第一步。平行工作还需要将各种信任恢复方法的功效(范围和时间进程)描述为上述所有因素(恢复策略的规模/类型、个体差异、自主领域)的函数。这被封装在一个模型或算法中，可以想象在用户中启动一个快速的信任恢复过程。组织文献的结果表明，这些并不总是直观的。在某些情况下，否认、模糊或分散责任可能有助于修复信任。需要进行更多的研究来创建一个考虑到修复类型、环境和用户的分类法，其中不同的修复策略将是最有效的。然而，这种方法有缺陷。对于给定的违反类型和程度的算法机器响应可能仅适用于人类精神状态的特定范围或类型(例如，当人快乐或放松时)，但是可以想象的是，可能损害对另一种状态的信任(例如，人疲劳或愤怒)。违规或响应类型是否有阈值，它们在多大程度上取决于用户当前的精神状态？这个潜在的问题在概念上反映了早期自动化设计者面临的问题，当时他们意识到在设计一个总是对信号发出警报但经常产生错误警报的高灵敏度警报和一个不太容易出现错误警报但也不太敏感的警报之间进行权衡(Parasuraman & Riley，1997)。为了解决这个问题，Parasuraman及其同事(Parasuraman & Hancock，1999；帕拉素拉曼，谢里丹和威金斯，2000)提出了模糊信号检测和贝叶斯方法来映射对世界状态的响应。在这种方法中，特定类型响应的阈值根据条件而变化。在信任算法可能使用概率函数来确定给定已知信息的“最佳”响应的情况下，可以使用类似的方法，类似于可能性警报(索金、坎特维茨和坎特维茨，1988；杨，杨，胡尔卡，李，&沙阿，2017)。这种方法需要对机器置信度进行仔细的建模、量化和可视化，目前这方面的研究虽然刚刚起步，但却是充满希望的阶段(哈钦斯、卡明斯、德雷珀和休斯，2015)。

假设开发了一种可行的信任修复方法，将需要进行研究来评估这种主动方法的有效性，并将结果与现有的人机信任方法进行比较。众所周知，任何主动的信任修复机制都会受到个体差异的影响；也就是说，它可能对某些人有效，但对其他人无效。鉴于先前对用户对计算机奉承敏感性的研究(D. Johnson等人，2004)，新手用户可能对机器的修复努力反应良好，但经验丰富的用户可能会发现它们陈腐或令人不快。此外，最近的研究已经确定了工作记忆容量和对自动化的信任之间的关系(Rovira等人，2016年)，因此与工作记忆较低的人相比，工作记忆较高的人往往不信任自动化。这意味着未来的信任修复努力可能与认知能力相互作用。年龄也有望在信任修复的功效中发挥调节作用。先前的研究表明，与年轻用户相比，老年人对机器的信任不太容易受到拟人化手段的明显操纵(Pak等人，2012年)。由于主动信任修复是一种拟人化的操作，这表明它可能对老年人不太有效。这一结果的含义是，某些信任违规是不可恢复的，信任修复策略将不会有效。这种影响可能是由于违反信任的类型(反复违反承诺、严重事故)、信任修复策略的有效性以及个人与肇事者和解的意愿造成的。这些因素的相互作用将是未来研究的一个重要问题。我们提出的信任修复是自治系统的一种新的基本社会能力，这也为最近的一场讨论提供了信息，这场讨论随着自治的兴起提出了许多关键问题(恩德斯利，2017a汉考克，2017；Kaber，2017bWoods，2016)。一个特别的争论是关于自动化和自治的水平和阶段，一些人主张其实用性(恩德斯利，2017bSheridan，2017；Wickens，2017)，其他人反对这种分类(Jamieson & Skraaning，2017；M. Johnson，Bradshaw & Feltovich，2017；Naikar，2017；史密斯，2017)和许多人指出了这种方法的局限性(伯恩斯，2017；Byrne，2017；卡明斯，2017；Kirlik，2017；J. D. Lee，2017；米勒，2017)。Kaber (2017b)指出，这种分歧的本质是基于一方讨论如何自动化以及自动化什么，另一方讨论自治的特征和期望，重点是人和机器应该如何相处。鉴于我们提议创建具有信任修复能力的自治系统，我们对这场辩论有几点意见。首先，我们认为自治，一个独立、可行和自治的系统(Kaber，2017a)，与自动化相比，提出了一个全新的挑战；这是一种更加受限的技术，它专注于特定的任务和脚本。研究和设计这两种形式的技术应该保持不同。其次，本文提出的观点主要传达了人和机器应该如何相处的概念。信任修复提供了一种社会弹性的形式，一种技术识别自身错误并试图与用户一起重新构建或解决错误的方法。这种新提出的能力明显不同于自动化或一般技术的典型期望。技术错误经常不被承认，人们会因为错误而受到责备或自责(诺曼，1988)。通过主动信任修复，人与机器之间更好的相互理解有望创造更好的人机合作。最后，我们确实看到了提供自治级别或类型的价值，但没有看到什么和如何自动化的观点与人和机器应该如何相处是相互排斥的。图1显示了自治程度和人性程度之间的初始框架。虽然我们故意没有规定具体的级别，但我们相信自主性可以并将被分为实用和有用的级别，这些级别可以作为绩效和团队合作的重要基准。这么高的水平

关于自主性，我们预测机器自身识别和纠正错误的能力将成为人机团队健康和高效运作的越来越重要的能力。未来的研究应该专门测试这个假设。

最后，法律和伦理问题一直围绕着自动化的引入和使用(汉考克，2017)。然而，随着自治的兴起，有可能自适应地改变他们的信任恢复行为，这些问题预计会随着自治和人性化设计水平的提高而显著放大。一个具体的例子是一辆自动驾驶汽车撞死了一名行人；谁负责？这个法律问题可能会在自主系统的设计中产生人为因素的影响(邦纳丰、沙里夫和拉赫万，2016；Goodall，2014；林，2016)。此外，在自主失败后，通过道歉来修复信任的概念可能是不明智的，因为这意味着内疚。法律学者目前正在自主车辆的背景下讨论这些问题(Gurney，2013)，但讨论的范围需要扩大到包括试图管理信任的自主机器。法律学者和人为因素专业人士可能需要解决完全新颖的自主性错误的可能性。这种失败的一个很好的例子是机器视觉中的错误(没有看到白色的卡车)导致了致命的事故(不丹，2017年)。正如在设计部分提到的，自主机器在组织中的角色决定了谁对机器负责，以及在出现错误、故障和性能错误的情况下，责任将指向哪里。公司可能有竞争利益，如创造利润和确保客户满意度。他们的信任修复策略必须平衡这些利益和这些策略将暴露的法律责任。调查人们如何区分他们对机器的直接体验和建造机器的组织将是一个有趣的研究问题。

5.0 结论

人类和技术之间的关系将随着其最新的部分——自主性的开始——继续发生重大变化。“尽可能自主的合作者”范式代表了与“自动化作为工具”范式有着根本不同的变革，因此人因工程专业需要预测这些技术可能的不利结果，并最大限度地提高它们的收益。由于我们在心理学和系统方面的知识，我们在人类因素领域处于领先地位。从我们的角度来看，这种准备必须从将我们与技术的联系重新塑造为两个几乎平等的合作者之间的关系开始，而不是简单地与工具进行交互。作为这一重铸的一部分，该领域必须重新发现和重新测试来自社会科学的现有基础知识，以判断它们在人类自主合作的新背景下的适用性和局限性。作为第一步，本文提供了一个路线图和框架，可以帮助其他研究人员在结合、适应、测试和解释人机合作的社会科学发现的艰苦过程中。这样的框架和模式可能会提供新的创造性解决方案，并创造总体上更具弹性和生产力的关系，从而带来更健康的生活。

6.0 参考
略