安全原则：人工智能系统在其整个运行寿命期间应是安全可靠的，并在适用和可行的情况下以可核查的方式做到这一点。

当一辆新车被介绍到世界各地时，它必须通过各种安全测试，不仅要满足政府的规定，还要满足公众的期望。事实上，安全已成为购车者的最大卖点。不仅仅是汽车，无论是从电器到飞机，制造商都知道，消费者希望他们的产品从头到尾都是安全的。

人工智能也不例外，显然，对于一个ai人工智能产品来说，伤害其所有者或其他人并不符合任何人的最佳利益，但是，这一原理要复杂得多。当一个系统变得越来越智能时，我们是否有能力验证它是否可信，这一点并不确定。在一定的智能水平上，人工智能将能够重写自己的代码，而使用超级智能系统，我们甚至可能无法从一开始就理解程序。

什么是人工智能安全?

这一原则触及了人工智能安全研究倡议的核心：我们如何确保一项旨在学习如何修改自身行为的技术的安全?

人工智能的设计使它能够从与周围环境的交互中学习，并相应地改变其行为，从而为人类提供难以置信的好处。因为人工智能能够比人类更有效地解决许多问题，所以它在改善每个人的健康和福祉方面有着巨大的潜力。

微软的聊天机器人泰伊(Tay)是人工智能如何从环境中学习负面行为的最新例子，产生的结果与创建者的想法完全相反。与此同时，特斯拉汽车事故中，车辆误认为一辆白色的卡车为晴空，提供了一个例子，人工智能误解其周围，并采取致命行动的结果。

研究人员可以尝试从误入歧途的人工智能中学习，但目前的设计往往缺乏透明度，而且当今的人工智能基本上都是一个黑盒子。AI开发人员不能总是弄清楚AI是如何或为什么会采取各种行动，而这很可能只会随着AI变得更加复杂而变得更具挑战性。

将传统的安全技术应用到人工智能中，给我们提供了一条实现人工智能安全的具体途径。如果我们能够设计一种方法，防止恶意攻击者导致AI采取不可取的行为，那么AI就更不可能独立地选择不受欢迎的行为。人工智能的安全可能是一个挑战，但没有理由相信它是不可战胜的。

安全与价值对准

对人工智能安全的任何考虑还必须包括价值调整：我们如何设计能够与人类价值的全球多样性相一致的人工智能，特别是考虑到我们所要求的往往不一定是我们想要的?

安全不仅仅是一个技术问题，如果你只是让人工智能与你设定的任何值完美地结合起来，那么问题是，人们可以有一系列的值，其中一些是坏的。仅仅是匹配AI，将它与您指定的值进行匹配，我认为还不够好。这是一个良好的开端，是一个让人工智能安全的宏伟目标，技术因素也是其中的一个重要部分;但我再次认为，安全也意味着政策和规范的制定。当人工智能越来越接近于满足甚至超越人类智能时，价值匹配问题就变得更加安全了。

以日本为老年人开发的机器人为例，他们并不聪明，现在的重点是外表和运动技能。但是想象一下，当这些机器人中的一个实际从事老年护理工作时，…它必须同时执行多项任务，并表现出认知灵活性。…这就增加了对家庭助理员(AGI)的需求。一旦你达到了人工智能的水平，就很难控制机器了。我们甚至不能确保人类同胞有正确的目标;为什么我们要认为AGI会有与我们一致的价值观，更不用说超级智能会有这样的价值观了。

定义安全

但或许是时候重新考虑安全的定义了，这意味着我们需要把定义从“身体安全”扩大到“提供更多的幸福”。我们都希望我们的系统是安全的。此外，随着人工智能的发展，可能会不太清楚这些约束应该是什么，我们需要重新思考我们所说的“安全”是什么意思，也许是从一开始就在安全中建设，而不是设计一个有能力的系统，然后增加安全性。