随着人工智能的发展，机器很快将具备超越人类的智能和实用能力。机器不仅会比人更有能力，而且还能使自己变得更好。也就是说，这些机器将了解他们自己的设计和如何改进它，或者他们可以创造出全新的甚至更有能力的机器。ai人工智能的人类创造者必须能够相信这些机器能够保持安全和有益，即使它们自我完善和适应现实世界。

递归自我改进

这种自治代理对自己的代码进行越来越好的修改的想法称为递归自我改进，通过递归的自我改进，机器可以适应新的环境，学会如何处理新的情况。在某种程度上，人脑也能做到这一点。当一个人养成并重复新的习惯时，他们大脑中的联系就会改变。随着时间的推移，这种联系会变得更强、更有效，从而使新的、期望的动作更容易执行(例如改变饮食习惯或学习一门新的语言)。然而，在机器中，这种自我改进的能力要强烈得多。

人工智能系统代理处理信息的速度比人类快得多，如果它不能正确理解自己的行为如何影响人们，那么它的自我修改可能很快就会与人类的价值观脱节，解决这个问题是实现安全和有益人工智能的关键一步。

在复杂世界中构建人工智能

由于世界是如此复杂，许多研究人员开始人工智能项目，通过在精心控制的环境中的开发人工智能。然后，他们创造数学证明，可以保证他们的人工智能在这个特定的空间将取得成功。

但这种方法让设计师承担了太多的责任，而且过于相信证明，尤其是在处理那些可以通过递归自我改进学习的机器时。我们无法准确地描述环境的所有复杂性，我们也无法预见代理将在未来发现自己的环境;一个代理将没有足够的资源(能量、时间、投入)来做最优的事情。

如果机器遇到了不可预见的情况，那么设计者在受控环境中所依赖的证据可能就不适用了，这样就不能保证人工智能的安全行为了。

基于经验的人工智能

取而代之的是使用了一种基于经验的人工智能的方法。基于经验的人工智能是一种自我完善的系统，它可以进行试探性的、可加性的、可逆的、非常细粒度的修改，而不需要事先进行自我推理;相反，自我修改会随着时间的推移根据经验证据进行测试，并在证明正确时缓慢地逐步实施，或者在被伪造时被驳回。

研究人员可以通过在复杂的、不可预见的环境中对机器进行教学和测试，挑战其功能和目标，从而确保人工智能能够发展出安全的行为，而不是只相信数学证明。

有了基于经验的人工智能，人工智能机器将从交互经验中学习，因此监控它们的生长周期是至关重要的。研究人员可以通过类似的、渐进的基于经验的学习过程来确保人工智能的安全。人工智能仅仅是从一小部分特定于设计师的代码一颗种子开始构建的，就像孩子一样，这台机器刚开始的时候，它的能力和智力都会下降，但随着时间的推移，它会自我完善，因为它会从老师和现实世界的经验中学习。

基于经验的人工智能的未来

基于经验的人工智能不需要在计算机上制作一个证明支持的最优学习算法的智力工作，而是需要与机器进行大量的面对面工作，以便像孩子一样教它。创造安全的人工智能可能更多地被证明是一个教学和成长的过程，而不是创造完美的数学证明的功能。虽然这样的责任转移可能更费时，但它也可能有助于在人工智能被发布到现实世界之前建立对它的更全面的理解。以超越代理实现级别，开发教学和测试方法，使我们能够提高代理对道德价值观的理解，并确保代理被迫保护和遵守这些价值观，这一过程令人望而生畏，但它不像人工智能安全出错的后果那样令人望而生畏。