来源：网络空间治理思与行 

以下文章来源于送法上网 ，作者史宇航

来源：送法上网

发布时间：2020-10-26

2020年10月20日，欧洲议会以559票赞成、44票反对、88票弃权获得通过一项立法倡议，提出一个新的AI道德法律框架，在欧盟开发、部署和使用人工智能、机器人和相关技术（包括软件、算法和数据）时应遵循的道德原则和法律义务。

倡议专门区分了高风险的人工智能技术。具有自我学习能力的人工智能技术，在设计上应允许人类随时进行监督。如果使用的功能会导致严重违反道德原则并可能是危险的，则应禁用自我学习能力，并应恢复人类的全面控制。

同时通过的还有关于人工智能责任的立法倡议。

鉴于：

（1）开发、部署和使用人工智能、机器人和相关技术，包括此类技术使用或产生的软件、算法和数据，应基于服务社会的愿望。这些技术可能带来机会和风险，应通过联盟一级的全面监管框架加以解决和管理，反映出道德原则，从开发和部署这些技术到使用这些技术的那一刻起就应遵守。

（2）在联盟内遵守关于开发、部署和使用人工智能、机器人和相关技术，包括此类技术使用或产生的软件、算法和数据的监管框架，应达到所有成员国同等的水平，以便有效地抓住此类技术的机会，一致地应对风险，并避免监管上的分散。应确保本条例规定的规则在整个欧盟得到统一地应用。

（3）在这种情况下，目前整个联盟遵循的规则和做法多种多样，这对单一市场的分裂、对保护个人和社会的福祉和繁荣以及对协调一致地探索人工智能、机器人和相关技术在促进创新和维护这种福祉和繁荣方面的全部潜力构成了重大风险。开发者、部署者和使用者对这些技术所固有的道德层面的考虑程度不同，可能会妨碍这些技术在联盟内自由开发、部署或使用，这种差异可能会对联盟一级的公平竞争环境和追求技术进步和经济活动构成障碍，扭曲竞争，并妨碍当局履行联盟法律规定的义务。此外，在人工智能、机器人和相关技术的开发、部署和使用方面，由于缺乏反映道德原则的共同监管框架，导致所有相关方，即开发者、部署者和使用者的法律不确定性。

（4）不过，本条例在有助于在联盟层面并在其规定的范围内采取一致的方法的同时，鉴于本条例所要实现的目标，应当为成员国的实施留有余地，包括如何履行各自国家监督机构的任务。

（5）本条例不影响现有或未来的部门立法。它应与其目标相称，以免不适当地阻碍联盟的创新，并应符合基于风险的方法。（6）该框架的适用地域范围应涵盖人工智能、机器人及相关技术的所有组成部分，贯穿其在联盟的开发、部署和使用过程，包括部分技术可能位于联盟之外或没有特定或单一地点的情况，如云计算服务。

（7）联盟内需要对人工智能、机器人、相关技术和生物识别等概念有一个共同的理解，以便采取统一的监管方式，从而为公民和公司提供法律确定性。它们应在技术上保持中立，并在必要时接受审查。

（8）此外，还需要考虑到有一些与人工智能和机器人有关的技术，使软件能够以不同程度的自主性控制物理或虚拟过程。例如，对于车辆的自动驾驶，SAE国际标准J3016已经提出了6个级别的驾驶自动化。

（9）人工智能、机器人及相关技术的开发、部署和使用，包括这些技术所使用或产生的软件、算法和数据，应补充而非替代人类的能力，并确保其执行不违背公民的最大利益，并符合欧盟法律、《欧盟基本权利宪章》（“宪章”）规定的基本权利、欧盟法院已确定的判例法以及适用于欧盟的其他欧洲和国际文书。

（10）人工智能、机器人和相关技术作出的决定或提供的信息应继续受到有意义的人的审查、判断、干预和控制。这些技术的技术和操作的复杂性决不应阻止其部署者或使用者能够在遵守欧盟法律和本条例规定的道德原则和法律义务面临风险的情况下，至少触发故障安全关闭、改变或停止其操作，或恢复到以前的状态，恢复安全功能。

（11）人工智能、机器人及相关技术，其开发、部署和使用存在违反联盟法律规定的基本权利和安全规则，对个人或社会造成伤害或危害的重大风险，应被视为高风险技术。为了对其进行评估，应考虑到开发、部署或使用这些技术的部门、其具体用途或目的以及预计会发生的伤害或损害的严重性。严重程度应根据潜在伤害或损害的程度、受影响人数、所造成的损害总价值和对整个社会的损害来确定。例如，严重类型的伤害和损害是指侵犯儿童、消费者或工人的权利，由于其程度、受影响的儿童、消费者或工人的数量或对整个社会的影响，具有违反联盟法律规定的基本权利和安全规则的重大风险。本条例应提供一份详尽和累积的高风险部门、高风险用途和目的清单。

（12）本条例规定的义务，特别是关于高风险技术的义务，只应适用于在欧盟开发、部署或使用的人工智能、机器人及相关技术，包括此类技术使用或生产的软件、算法和数据，在本条例规定的风险评估后，这些技术被认为是高风险的。在不影响一般义务的前提下，应遵守这些义务，即任何人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据，都应根据联盟法律，以人为中心，以人的自主性和人的安全为原则，在充分尊重人的尊严、自由和安全权、人格完整权等基本权利的前提下，在联盟内开发、部署和使用。

（13）高风险技术应当尊重安全、透明、问责、无偏见或不歧视、社会责任和性别平等、救济权、环境可持续性、隐私和善治等原则，由国家监督机构根据本条例规定的标准及其附件中的清单进行公正、客观和外部风险评估。该评估应考虑开发者或部署者和任何自我评估的意见。

（14）委员会和（或）可能为此目的指定的任何相关机构、组织、办事处和联盟机构应就遵守本条例的方法为开发商、部署者和用户编制不具约束力的实施指南。在这样做的时候，他们应该咨询相关的利益相关者。

（15）在对这些技术进行风险评估时，特别是在根据本条例和任何适用的具体部门立法对这些技术进行评估时，联盟内部应保持一致。因此，当这些技术在本条例规定的风险评估后被评估为高风险时，国家监管机构应通知其他当局根据任何特定部门的立法进行风险评估。

（16）为了成为值得信赖的高风险人工智能、机器人技术和相关技术，包括这些技术使用或产生的软件、算法和数据，应当按照稳健性、弹性、安全性、准确性和错误识别、可解释性、可解释性、可审计性、透明度和可识别性等安全特征，以安全、透明和负责任的方式开发、部署和使用，并在不遵守这些特征的情况下，能够禁用相关功能或恢复到以前的状态，恢复安全功能。应确保透明度，允许公共当局在严格必要的情况下接触这些技术的基础技术、数据和计算系统。

（17）人工智能、机器人和相关技术，特别是高风险技术的开发者、部署者和使用者，在不同程度上对遵守安全、透明和问责原则负有责任，其程度与有关技术有关，包括这些技术使用或产生的软件、算法和数据有关。开发者应确保有关技术的设计和建造符合本条例规定的安全特性，而部署者和使用者则应在完全遵守这些特性的情况下部署和使用有关技术。为此，高风险技术的开发者应评估和预测他们所开发的技术可合理预期的滥用风险。他们还必须确保他们开发的系统通过适当的手段，如免责声明，尽可能地表明错误或不准确的可能性。

（18）开发者和部署者应向用户提供有关技术的任何后续更新，即合同规定或联盟或国家法律规定的软件方面的更新。此外，如果风险评估表明，开发者和部署者应向公共当局提供有关技术使用的相关文件和这方面的安全指示，包括在严格必要的情况下，并在充分尊重联盟关于数据保护、隐私和知识产权及商业秘密的法律的情况下，提供系统使用的源代码、开发工具和数据。

（19）个人有权期待其使用的技术以合理的方式执行，并尊重其信任。公民对人工智能、机器人及相关技术，包括这些技术使用或产生的软件、算法和数据的信任，取决于对技术过程的理解和掌握。这些过程的可解释程度应取决于这些技术过程的背景，以及错误或不准确输出的后果的严重性，并需要有足够的能力对其提出质疑和寻求补救。可审计性、可追溯性和透明度应解决这些技术可能存在的任何不可理解性。

（20）社会对人工智能、机器人及相关技术的信任，包括这些技术所使用或产生的软件、算法和数据，取决于相关技术对其评估、可审计性和可追溯性的启用程度。如果他们的参与程度有此要求，开发者应确保这些技术的设计和构建方式能够实现这种评估、审计和可追溯性。开发者、部署者和用户应在技术上可能的限度内，确保人工智能、机器人技术和相关技术的部署和使用充分尊重透明度要求，并允许审计和追踪。

（21）为了确保透明度和问责制，当一个系统使用人工智能时，当人工智能系统为其用户提供个性化产品或服务时，当他们可以关闭或限制个性化时，以及当他们面临自动决策技术时，应告知公民。此外，在采取透明措施的同时，应在技术上尽可能地对所使用的数据和算法、目的、结果及其潜在的危险作出清晰易懂的解释。

（22）软件、算法和数据中的偏见和歧视是非法的，应通过规范其设计和部署过程来解决。偏见既可能来自于自动系统所提供的信息或作出的决定，也可能来自于这种决策所依据的或系统所训练的数据集。

（23）人工智能、机器人及相关技术所使用或产生的软件、算法和数据，如果基于个人或社会的偏见认知，以及随后对与其特征有关的数据的处理，显示出与任何个人或群体有关的次优结果，则应视为有偏见。

（24）根据欧盟法律，人工智能、机器人和相关技术使用或产生的软件、算法和数据，如果它们产生的结果具有不成比例的负面影响，并导致对某人或某群体的不同待遇，包括基于其个人特征等理由，使他们与其他人相比处于不利地位，而没有客观或合理的理由，也不管技术的中立性的任何说法，应被视为歧视性的。

（25）根据欧盟法律，根据本条例可以被认为可以客观地证明个人或群体之间任何差别待遇的合法目的是保护公共安全、保障和健康，预防刑事犯罪，保护基本权利和自由，公平的代表性和从事专业职业的客观要求。

（26）人工智能、机器人及相关技术，包括此类技术使用或产生的软件、算法和数据，应有助于可持续进步。这些技术不应违背保护环境或绿色转型的事业。它们可以在实现联合国概述的可持续发展目标方面发挥重要作用，以使子孙后代能够繁荣昌盛。这些技术可以支持根据可持续性和社会凝聚力指标监测适当的进展，并利用负责任的研究和创新工具，要求联盟及其成员国调动资源，支持和投资于实现这些目标的项目。

（27）人工智能、机器人和相关技术的开发、部署和使用，包括这些技术使用或产生的软件、算法和数据，绝不应故意或接受对个人或社会造成任何形式的伤害或损害。因此，高风险技术尤其应该以对社会负责任的方式来开发、部署和使用。

（28）因此，开发者、部署者和使用者应在其参与有关人工智能、机器人及相关技术的范围内，根据联盟和国家责任规则，对个人和社会造成的任何伤害或损害负责。

（29）特别是，对人工智能、机器人及相关技术的开发过程或方式作出决定和控制的开发者，以及通过对其部署作出决定，并对相关风险进行控制或从这种部署中获益，具有控制或管理职能的部署者，一般应被认为对避免任何这种伤害或损害的发生负有责任，分别在开发过程中采取适当的措施，并在部署阶段彻底尊重这些措施。

（30）对社会负责的人工智能、机器人和相关技术，包括这类技术使用或产生的软件、算法和数据，可被定义为有助于找到保障和促进不同社会目标的解决方案的技术，最主要的是民主、健康和经济繁荣、机会平等、工人权利和社会权利、多样化和独立的媒体以及客观和自由可得的信息，允许公开辩论、优质教育、文化和语言多样性、性别平衡、数字扫盲、创新和创造力。它们也是那些在开发、部署和使用时适当考虑到其对公民身心健康的最终影响，并且不煽动仇恨言论或暴力的媒体。这些目标尤其应该通过高风险技术来实现。

（31）人工智能、机器人和相关技术的开发、部署和使用也应以支持社会包容、民主、多元、团结、公平、平等和合作为目的，并应通过研究和创新项目最大限度地发挥和 探讨其在这方面的潜力。因此，欧盟及其成员国应调动其通信、行政和财政资源，以支持和投资这些项目。

（32）与人工智能、机器人和相关技术处理社会福祉问题的潜力有关的项目应在负责任的研究和创新工具的基础上进行，以保证这些项目从一开始就遵守道德原则。

（33）人工智能、机器人和相关技术的开发、部署和使用，包括这些技术使用或产生的软件、算法和数据，应考虑到其环境足迹。根据适用的欧盟法律规定的义务，这些技术在其生命周期内和整个供应链中不应对环境造成损害，并应以保护环境、减轻和补救其环境足迹、促进绿色转型和支持实现气候中立和循环经济目标的方式开发、部署和使用。

（34）为了本条例的目的，开发者、部署者和使用者应在各自参与开发、部署或使用任何被认为是高风险的人工智能、机器人及相关技术的范围内，按照适用的环境责任规则，对其对环境造成的危害负责。

（35）这些技术的开发、部署和使用也应着眼于支持实现符合适用的欧盟法律规定的义务的环境目标，如减少废物产生、减少碳足迹、应对气候变化和保护环境，并应通过研究和创新项目最大限度地挖掘其在这方面的潜力。因此，欧盟和各成员国应调动其通信、行政和财政资源，以支持和投资这些项目。

（36）有关人工智能、机器人和相关技术在解决环境问题方面的潜力的项目应在负责任的研究和创新工具的基础上进行，以便从一开始就保证这些项目符合道德原则。

（37）在联盟开发、部署和使用的任何人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据，都应充分尊重联盟公民的隐私权和保护个人数据的权利。特别是，其开发、部署和使用应符合欧洲议会和理事会（欧盟）2016/679号条例1和欧洲议会和理事会2002/58/EC号指令。

（38）特别是，在使用远程识别技术，如识别生物特征，特别是面部识别，以自动识别个人时，应适当考虑使用人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据的道德界限。当公共当局出于重大公共利益的原因，即保障个人安全和应对国家紧急情况，而不是为了保障财产安全而使用这些技术时，根据联盟法律，并适当考虑到人的尊严和自主权以及《宪章》规定的基本权利，使用这些技术应始终公开、适度、有针对性，并限于具体目标，并在时间上加以限制。这种使用的标准和限制应接受司法审查，并提交有民间社会参与的民主审查和辩论。

（39）以相关标准为基础的治理可以加强安全，并促进提高公民对人工智能、机器人和相关技术（包括这些技术使用或产生的软件、算法和数据）的开发、部署和使用的信任。

（40）公共机关在部署高风险技术之前，应当进行有关基本权利的影响评估，这些技术为公共部门的决策提供支持，并对公民的权利和义务产生直接和重大影响。

（41）现有的相关治理标准包括，例如欧盟委员会设立的人工智能高级别专家组起草的“值得信赖的人工智能道德准则”，以及任何其他技术标准，如欧洲标准化委员会（CEN）、欧洲电工标准化委员会（CENELEC）和欧洲电信标准协会（ETSI）在欧洲层面通过的标准，国际标准化组织（ISO）和电气和电子工程师协会（IEEE）在国际层面通过的标准。

（42）多个参与者共享和使用数据是敏感的，因此，人工智能、机器人技术和相关技术的开发、部署和使用应受相关规则、标准和协议的管理，这些规则、标准和协议反映了质量、完整性、安全性、可靠性、隐私和控制的要求。数据治理战略应重点关注此类数据的处理、共享和访问，包括数据的适当管理、可审计性和可追踪性，并保证充分保护属于弱势群体的数据，包括残疾人、病人、儿童、少数群体和移民或其他有被排斥风险的群体。此外，开发者、部署者和用户应能在相关情况下，在评估他们使用的数据集时依靠关键性能指标，以提高他们开发、部署和使用的技术的可信度。

（43）会员国应指定一个独立的行政机构作为监督机构。特别是，每个国家监督机构应负责根据本条例规定的风险评估标准，确定被认为是高风险的人工智能、机器人及相关技术，并评估和监督这些技术是否符合本条例规定的义务。

（44）各国家监督机构也应在委员会和（或）可能为此目的指定的任何相关机构、机关、办事处或联盟机构的协调下，承担对这些技术进行良好治理的责任。因此，它们在促进联盟公民的信任和安全，以及促成一个民主、多元和公平的社会方面发挥着重要作用。

（45）为了根据本条例评估高风险技术并监测其遵守情况，国家监管机构应在适用的情况下，与负责评估和监测这些技术并强制其遵守部门立法的当局合作。

（46）各国监管机构应相互之间以及与欧盟委员会和欧盟其他相关机构、机关、办事处和机构进行实质性和经常性的合作，以保证采取协调一致的跨境行动，并允许在欧盟内部按照本条例规定的道德原则和法律义务一致地开发、部署和使用这些技术。

（47）在这种合作的背景下，为了实现联盟层面的全面协调，国家监管机构应协助委员会根据本条例及其附件规定的标准，制定一份共同的、详尽的高风险人工智能、机器人及相关技术清单。此外，应制定一个颁发欧洲道德合规证书的程序，包括为不被视为高风险的技术的任何开发者、部署者或使用者制定一个自愿申请程序，以证明其遵守本条例的情况。

（48）国家监管机构应确保最大限度地聚集产业、企业、社会伙伴、研究人员、消费者和民间组织等利益相关者，并提供一个多元化的思考和交换意见的论坛，以获得可理解和准确的结论，从而指导治理方式的规范。

（49）国家监督机构应确保聚集尽可能多的利益相关者，如产业界、企业界、社会伙伴、研究者、消费者和民间组织，并提供一个多元的思考和交流意见的论坛，以促进与利益相关者，特别是来自学术界、研究界、产业界、民间社会和专家个人之间的合作与协作，从而得出可理解的、准确的结论，以达到指导如何规范治理的目的。

（50）此外，这些国家监督机构应向开发者、部署者和使用者，特别是在遵守本条例规定的道德原则和法律义务方面遇到挑战的中小企业或初创企业提供专业的行政指导和支持。

（51）委员会和（或）可能为此目的指定的联盟的任何相关机构、机关、办事处和机构应就国家监管机构进行合规性评估时使用的方法制定具有约束力的准则。

（52）举报使当局注意到潜在的和实际的违反联盟法律的行为，以防止可能发生的伤害、损害或损失。此外，举报程序改善了公司和组织内部的信息流动，从而降低了开发有缺陷或错误产品或服务的风险。开发、部署或使用人工智能、机器人及相关技术的公司和组织，包括由这些技术使用或产生的数据，应建立举报渠道，举报违规行为的人应受到保护，以免遭到报复。

（53）人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据，以及作为其基础的机器学习、推理过程和其他技术的快速发展是不可预测的。因此，建立一个审查机制是合适的，也是必要的，根据该机制，委员会除了报告本条例的适用情况外，还要定期提交一份关于本条例适用范围可能修改的报告。

（54）由于本条例的目标，即为联盟内人工智能、机器人和相关技术的开发、部署和使用建立一个道德原则和法律义务的共同监管框架，不能由成员国充分实现，而是由于其规模和影响，可以在联盟一级更好地实现，因此，联盟可以根据《欧洲联盟条约》第5条规定的辅助性原则采取措施。根据该条规定的相称性原则，本条例不超出为实现该目标所必需的范围。

（55）本条例规定的联盟一级的协调，最好由委员会和（或）在这方面可能指定的联盟任何相关机构、机关、办事处和机关来实现，以避免各自为政，确保本条例的一致适用。因此，应责成委员会找到适当的解决办法，在联盟一级构建这种协调，以协调各成员国国家监管机构的任务和行动，即在人工智能、机器人和相关技术的风险评估方面，建立一个共同框架，以治理这些技术的开发、部署和使用。制定和发布遵守本条例规定的道德原则和法律义务的证书，支持与有关利益攸关方和民间社会定期交流，并建立一个专门知识中心，将学术界、研究界、工业界和联盟一级的专家个人聚集在一起，以促进知识和技术专长的交流，并通过国际合作促进联盟的方式，确保在全世界对这些技术固有的机会和风险作出一致的反应。

第一章 总则

第一条 目的

本条例的目的是为在联盟内开发、部署和使用人工智能、机器人及相关技术建立一个全面的、面向未来的联盟监管框架，规定道德原则和法律义务。

第二条 范围

本条例适用于在联盟内开发、部署或使用的人工智能、机器人及相关技术，包括此类技术使用或产生的软件、算法和数据。

第三条 地理范围

本条例适用于人工智能、机器人及相关技术，其任何部分在联盟内开发、部署或使用，无论该等技术使用或生产的软件、算法或数据是否位于联盟之外或不具有特定的地理位置。

第四条 定义

为本条例之目的，适用以下定义：

（a）“人工智能”是指以软件为基础或嵌入硬件设备的系统，该系统通过收集、处理、分析和解释其环境，并通过采取具有一定程度的自主性的行动来实现特定的目标，从而显示出智能行为。

（b）“自主性”是指人工智能系统通过解释某些输入和使用一套预先确定的指令进行操作，而不受限于这些指令，尽管该系统的行为受到其被赋予的目标和开发者作出的其他相关设计选择的限制，并以实现该目标为目标；

（c）“机器人技术”是指使自动控制、可重新编程的多用途机器能够在物理世界中执行传统上由人类执行或发起的行动的技术，包括通过人工智能或相关技术。

（d）“相关技术”是指使软件能够部分或完全自主控制物理或虚拟过程的技术，能够检测生物识别、基因或其他数据的技术，以及复制或以其他方式利用人类特征的技术。

（e）“高风险”是指开发、部署和使用人工智能、机器人和相关技术所带来的 重大风险，即违反联盟法律规定的基本权利和安全规则，对个人或社会造成危害或损害，同时考虑到这些技术的具体用途或目的、开发、部署或使用这些技术的部门以及可能发生的伤害或损害的严重性。

（f）“开发”是指为创造或训练人工智能、机器人及相关技术或为现有人工智能、机器人及相关技术创造新的应用而构建和设计算法、编写和设计软件或收集、存储和管理数据；

（g）“开发者”是指任何决定和控制人工智能、机器人及相关技术的发展方向或方式的自然人或法人。

（h）“部署”是指对人工智能、机器人及相关技术的操作和管理，以及将其投放市场或以其他方式提供给用户；

（i）“部署者”是指参与人工智能、机器人及相关技术的具体部署，通过决策、控制风险并从中获益，具有控制或管理职能的任何自然人或法人。

（j）“使用”是指与人工智能、机器人和相关技术有关的任何行动，而不是开发或部署；

（k）“用户”是指除开发或部署目的外使用人工智能、机器人和相关技术的任何自然人或法人；

（l）“偏见”是指基于个人特征对个人或群体的任何偏见的个人或社会看法；

（m）“歧视”是指基于没有客观或合理的理由，因此为联盟法律所禁止的对个人或群体的任何差别待遇。

（n）“伤害或损害 "是指（包括因仇恨言论、偏见、歧视或污名化造成的）身体或精神伤害、物质或非物质伤害，如经济或经济损失、就业或教育机会的丧失、对选择或表达自由的不当限制或隐私的丧失，以及对个人不利的任何违反联盟法律的行为。

（o）“善治”是指确保开发者、部署者和使用者根据一套正式的规则、程序和价值观，采用并遵守适当合理的行为标准和协议，并使他们能够在道德问题出现时或出现之前妥善处理的方式。

第五条 人工智能、机器人及相关技术的伦理原则

1．任何人工智能、机器人及相关技术，包括这些技术使用或产生的软件、算法和数据，都应根据联盟法律，在充分尊重人的尊严、自主和安全以及《宪章》规定的其他基本权利的前提下，在联盟内开发、部署和使用。

2. 在人工智能、机器人及相关技术的开发、部署和使用过程中进行的任何个人数据处理，包括由非个人数据和生物识别数据衍生的个人数据，都应按照（欧盟）2016/679号条例和2002/58/EC号指令进行。

3. 欧盟及其成员国应鼓励旨在提供基于人工智能、机器人和相关技术的解决方案的研究项目，以寻求促进社会包容、民主、多元、团结、公平、平等和合作。

第二章 高风险技术的义务

第六条 高风险技术的义务

1. 本章的规定仅适用于在联盟内开发、部署或使用的被认为是高风险的人工智能、机器人及相关技术，包括这些技术使用或生产的软件、算法和数据。

2. 任何高风险的人工智能、机器人及相关技术，包括由这些技术使用或生产的软件、算法和数据，其开发、部署和使用的方式应确保不违反本条例规定的伦理原则。

第七条 以人为中心和人造人工智能

1．任何人造高风险技术，包括这些技术所使用或产生的软件、算法和数据，其开发、部署和使用的方式应保证在任何时候都有充分的人为监督。

2. 第1款所述技术的开发、部署和使用方式，应能在需要时重新获得完全的人为控制，包括通过改变或停止这些技术。

第八条 安全、透明和问责

1. 任何高风险的人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据，其开发、部署和使用的方式应确保它们是：

（a）以有弹性的方式开发、部署和使用，以便通过遵守与已确定的风险相称的最低网络安全基线，确保适当的安全水平，并防止任何技术漏洞被用于恶意或非法目的；

（b）以安全的方式开发、部署和使用，确保有保障措施，包括在发生安全或安保风险时的后备计划和行动；

（c）开发、部署和使用的方式应确保可靠的性能，以达到用户合理预期的目标和开展设想的活动，包括确保所有操作是可重复的；

（d）开发、部署和使用的方式应确保特定技术的目标和活动的性能是准确的；如果偶尔出现的不准确是无法避免的，系统应通过适当的手段尽可能向部署者和用户说明出现错误和不准确的可能性；

（e）以易于解释的方式开发、部署和使用，以确保可以对技术的技术过程进行审查；

（f）开发、部署和使用的方式应告知用户他们正在与人工智能系统进行交互，适当地、全面地向人工智能开发者、部署者和用户披露其能力、准确性和局限性；

（g）按照第六条的规定，以这样的方式开发、部署和使用，即在不符合（a）至（g）项规定的安全功能时，能够使有关功能暂时失效，并恢复到以前的状态，恢复安全功能。

2. 根据第六条第1款、本条第1款提到的技术，包括这些技术所使用或产生的软件、算法和数据，应以透明和可追溯的方式开发、部署和使用，使其要素、过程和阶段以尽可能高的和适用的标准记录下来，使第十八条提到的国家监督机构有可能评估这些技术是否符合本条例规定的义务。特别是，这些技术的开发者、部署者或使用者应负责并能够证明符合第1款规定的安全特征。

3. 第1款所述技术的开发者、部署者或使用者应确保为符合第1款规定的安全特征而采取的措施能够受到第十八条所述国家监督机构的审核，或在适用的情况下，受到其他国家或欧洲部门监督机构的审核。

第九条 不偏袒和不歧视

1. 联盟开发、部署或使用的高风险人工智能、机器人及相关技术所使用或产生的任何软件、算法或数据均应无偏见，在不影响第2款的前提下，不得以种族、性别、性取向、怀孕、残疾、身体或遗传特征、年龄、少数民族、族裔或社会出身、语言、宗教或信仰、政治观点或公民参与、公民身份、公民或经济地位、教育或犯罪记录等理由进行歧视。

2. 作为对第1款的限制，并在不影响联盟关于非法歧视的法律的情况下，只有当存在客观、合理和合法的目的，而且这种目的是相称和必要的，在没有其他替代办法会对平等待遇原则造成较少干扰的情况下，才可以证明个人或群体之间的任何差别待遇是合理的。

第十条 社会责任和性别平等

在联盟开发、部署和使用的任何高风险人工智能、机器人及相关技术，包括此类技术所使用或产生的软件、算法和数据，均应遵守联盟相关法律、原则和价值观，不干涉选举或助长虚假信息的传播，尊重劳动者的权利，促进素质教育和数字扫盲，不因阻止人人机会平等而扩大性别差距，不会不尊重知识产权及其任何限制或例外。

第十一条 环境可持续性

任何高风险的人工智能、机器人及相关技术，包括此类技术使用或产生的软件、算法和数据，均应由第十八条所述的国家监管机构或在适用情况下由其他国家或欧洲部门监管机构对其环境可持续性进行评估。确保采取措施，减轻和补救其对自然资源、能源消耗、废物产生、碳足迹、气候变化紧急情况和环境退化的总体影响，以确保遵守适用的欧盟或国家法律以及欧盟作出的任何其他国际环境承诺。

第十二条 尊重隐私和保护个人数据

在公共场所使用和收集生物识别数据，用于远程识别，如：生物鉴别或面部识别对基本权利有特定风险，只能由成员国公共当局为实质性公共利益目的而部署或使用。这些当局应确保根据欧盟和国家法律，特别是（欧盟）第2016/679号条例和第2002/58/EC号指令，并适当考虑到人的尊严和自主权以及《宪章》规定的基本权利，即尊重隐私和保护个人数据的权利，向公众披露这种部署或使用，并确保其适度、有针对性，仅限于特定目标和地点，并在时间上加以限制。

第十三条 救济权

任何自然人或法人有权就违反联盟法律和本条例规定的义务，开发、部署和使用高风险的人工智能、机器人及相关技术（包括此类技术使用或产生的软件、算法和数据）所造成的伤害或损害寻求救济。

第十四条 风险评估

1. 在本条例中，人工智能、机器人及相关技术，包括此类技术使用或生产的软件、算法和数据，在根据其具体用途或目的、开发、部署或使用的部门以及可能造成的伤害或危害的严重性等客观标准进行风险评估后，如果其开发、部署或使用具有违反联盟法律规定的基本权利和安全规则，对个人或社会造成伤害或危害的重大风险，则应视为高风险技术。

2. 在不影响适用的部门立法的前提下，人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据的风险评估，应根据本条第1款规定的客观标准和本条例附件中列出的详尽和累积清单，由第十八条中提到的国家监管机构在委员会和/或任何其他相关机构、机关、办事处和联盟在合作中为此目的指定的机构的协调下进行。

3.委员会应与第2款中提到的国家监督机构合作，根据第二十条的授权行为，制定并随后更新联盟内确定的高风险技术共同清单。

4.委员会还应根据第二十条的授权行为，定期更新本条例附件中规定的清单。

第十五条 合规性评估

1．高风险的人工智能、机器人及相关技术应接受对本条例第六条至第十二条规定的义务遵守情况的评估以及后续监测，这两项工作均应由第十八条所述的国家监管部门在委员会和/或联盟为此目的指定的任何其他相关机构、机关、办事处和机构的协调下进行。

2. 根据第1款被评估为符合本条例规定的义务的高风险技术所使用或生产的软件、算法和数据，也应被视为符合这些义务，除非相关国家监督机构决定主动或应开发者、部署者或用户的要求进行评估。

3. 在不影响部门立法的前提下，委员会和（或）可能为此专门指定的任何相关机构、组织、办事处和联盟机构，应在本条例生效之日前，就国家监督机构用于第1款所述合规性评估的方法制定具有约束力的准则。

第十六条 欧洲道德合规证书

1．凡是按照第十五条对高风险的人工智能、机器人和相关技术，包括这些技术使用或产生的软件、算法和数据进行了积极的合规性评估，各国家监管机构应颁发欧洲道德合规证书。

2. 任何人工智能、机器人和相关技术（包括这些技术使用或生产的软件、算法和数据）的开发者、部署者或使用者，如果不被认为是高风险的，那么将不受第六条至第十二条规定的义务以及第十四条和第十五条规定的风险评估和合规性评估的约束，也可以要求证明遵守本条例规定的义务，或根据国家监管机构决定的有关技术的性质有正当理由的部分义务。只有在有关国家监管机构对遵守情况进行了评估，且评估结果是肯定的情况下，才可颁发证书。

3. 为签发第2款所述证书，委员会和（或）联盟为此目的指定的任何其他相关机构、机关、办事处和机关应制定申请程序。

第三章 机构监督

第十七条 治理标准和实施指导

1. 在联盟内开发、部署或使用的人工智能、机器人及相关技术，应符合第十八条所述的国家监督机构根据联盟法律、原则和价值观，在委员会和/或联盟为此指定的任何相关机构、机关、办事处和机构的协调下，与相关利益相关者协商，制定的相关治理标准。

2.第1款中提到的标准应包括关于开发者、部署者和使用者遵守本条例的方法的不具约束力的实施指南，并应在本条例生效之日前公布。

3. 在联盟开发、部署或使用的人工智能、机器人及相关技术所使用或产生的数据，应由开发者、部署者和用户按照相关国家、联盟、其他欧洲组织和国际规则和标准，以及相关行业和商业协议进行管理。特别是开发者和部署者应在可行的情况下对人工智能、机器人及相关技术所使用的外部数据源进行质量检查，并对其收集、存储、处理和使用建立监督机制。

4. 在不影响可携性权利和使用人工智能、机器人及相关技术产生数据的人的权利的前提下，在联盟开发、部署或使用的人工智能、机器人及相关技术所使用或产生的数据的收集、存储、处理、共享和获取，应符合国家、联盟、其他欧洲组织和国际上的相关规则和标准，以及相关行业和商业协议。特别是，开发者和部署者应确保在开发和部署人工智能、机器人及相关技术的过程中应用这些协议，明确规定处理和允许访问这些技术使用或产生的数据的要求，以及处理和允许访问这些数据的目的、范围和对象，所有这些要求在任何时候都应是可审计和可追踪的。

第十八条 监管机构

1. 各成员国应指定一个独立的公共机构负责监测本条例的适用情况（“监督机构”），并在不影响部门立法的情况下，进行第十四、十五和十六条规定的风险和合规性评估及认证。

2. 各国家监管机构应促进本条例在全联盟范围内的一致适用。为此，各成员国的监督机构应相互合作，与委员会和/或为此目的可能指定的联盟其他相关机构、组织、办事处和机关合作。

3. 各国家监管机构应作为第一联络点，处理因开发、部署或使用人工智能、机器人及相关技术而涉嫌违反本条例规定的道德原则和法律义务的案件，包括歧视性待遇或侵犯其他权利的案件。在这种情况下，相应的国家监管部门应进行合规性评估，以支持公民的抗辩权和救济权。

4. 各国家监督机构应负责监督第十七条提及的相关国家、欧洲和国际治理规则和标准在人工智能、机器人及相关技术方面的应用，包括尽可能多地与相关利益方进行联络。为此，各成员国的监管机构应提供一个论坛，以便与来自学术界、研究界、工业界和民间社会的利益相关者定期交流，并在他们之间进行交流。

5. 各国家监管机构应就适用于人工智能、机器人及相关技术的联盟法律和本条例规定的伦理原则的一般实施提供专业和行政指导和支持，特别是对相关研发组织和中小企业或初创企业。

6. 各成员国应在【日期】之前将其根据本条通过的法律规定通知欧盟委员会，并毫不拖延地将影响到它们的任何后续修正案通知欧盟委员会。

7. 会员国应采取一切必要措施，确保实施本条例规定的伦理原则和法律义务。成员国应在联盟和国家层面支持相关利益攸关方和民间社会的努力，以确保及时、合乎道德和充分了解情况，应对人工智能、机器人和相关技术发展带来的新机遇和挑战，特别是跨界性质的机遇和挑战。

第十九条 违规行为的报告和对报告人的保护

欧洲议会和理事会的指令（EU）2019/19371应适用于对违反本条例的报告和对这些违规行为的报告人的保护。

第二十条 联盟层面的协调

1. 委员会和（或）在此背景下可能指定的任何相关机构、机关、办事处和联盟机构应承担以下任务：

- 确保第十八条所述国家监管机构根据第8条第1款规定的共同客观标准和本条例附件中规定的高风险部门和高风险用途或目的清单，对第十四条所述人工智能、机器人及相关技术进行一致的风险评估；

- 注意到第十五条中提到的由第十八条中提到的国家监管机构对高风险人工智能、机器人及相关技术进行的合规性评估和后续监测；

- 制定第十六条中提到的由第十八条中提到的国家监管机构颁发证书的申请程序；

- 在不影响部门立法的情况下，编写第十七条第4款所述的关于第十八条所述国家监督机构使用的方法的具有约束力的准则；

- 协调第十八条所述国家监督机构制定第十七条所述的相关治理标准，包括为开发者、部署者和用户制定关于遵守本条例的方法的不具有约束力的执行准则；

- 与第十八条所述国家监督机构合作，根据第十八条第2款促进本条例在整个联盟的一致适用；

- 作为专门知识中心，促进与人工智能、机器人和相关技术有关的信息交流，支持在单一市场中形成共同的理解，向第十八条中提到的国家监管机构提供额外的指导、意见和专门知识，监测相关联盟法律的执行情况，确定最佳做法的标准，并酌情提出监管措施的建议。在此过程中，它应尽可能多地与相关利益攸关方进行联络，并确保其决策层的组成是多样化的，并确保性别平等；

-主办一个安全和防务工作组，旨在研究与安全和防务领域中人工智能、机器人和相关技术的道德使用具体相关的政策和投资问题。

第二十一条 行使委托权

1. 在符合本条规定的条件的情况下，委员会被授予采取委托行为的权力。

2. 第十四条（3）和（4）中提到的通过委托行为的权力应授予委员会，期限为5年，自（本条例生效之日起）。

3. 第十四条（3）和（4）中提到的授权行为可由欧洲议会或理事会随时撤销。撤销的决定应终止该决定中规定的权力下放。该决定应在《欧洲联盟公报》上公布该决定的次日或其中规定的较晚日期生效。它不影响已经生效的任何授权行为的有效性。

4. 在通过委托行为之前，委员会应根据2016年4月13日《关于更好地制定法律的机构间协议》中规定的原则，咨询各成员国指定的专家。

5. 委员会一旦通过委托行为，应立即将其同时通知欧洲议会和理事会。

6. 根据第14条第（3）和（4）款通过的委托行为，只有在向欧洲议会和理事会通知该行为后三个月内，欧洲议会或理事会均未表示反对的情况下，才能生效，或者在该期限届满前，欧洲议会和理事会均已通知委员会它们不会反对。经欧洲议会或理事会提议，这一期限应延长三个月。

第二十二条 对（欧盟）第2019/1937号指令的修正指令

（欧盟）第2019/1937号指令修改如下：

（1）在第二（1）条中，增加以下要点：“（xi）人工智能、机器人及相关技术的开发、部署和使用。”

（2）在附件第一部分中，增加以下内容：

“K．第二条第（1）款第（a）（xi）点-人工智能、机器人及相关技术的开发、部署和使用。

‘（二十一）欧洲议会和理事会关于开发、部署和使用人工智能、机器人及相关技术的伦理原则的[XXX]条例’。”

第二十三条 审查

委员会应定期审查人工智能、机器人及相关技术的发展情况，包括这些技术使用或产生的软件、算法和数据，并应在【输入三年后的日期】通过，并在此后每三年向欧洲议会、理事会和欧洲经济和社会委员会提交一份关于本条例适用情况的报告，包括对本条例适用范围的可能修改的评估。

第二十四条 生效

本条例自其在《欧洲联盟官方公报》上公布后第二十天起生效。

本条例自XX年起适用。

本条例的全部内容具有约束力，并直接适用于所有成员国。