目前赋予人类比其他物种更大优势的特性是智慧，人类在推理和机智方面的优势使我们得以茁壮成长，然而，情况并非总是如此。尽管超级人工智能系统可能还需要几十年的时间，但现在就开始研究这项技术是明智的，科学家和研究人员需要准备的时间越多，这个系统最终可能会比我们更聪明，就越好。

一个比人类更智能的人工智能系统有可能开发出人类所需的工具，同时，高性能的人工智能系统可能不具备人类的公平感、同情心或保守主义。因此，人工智能系统一心一意地追求其编程目标可能导致它欺骗程序员，试图夺取资源，或以其他方式表现出敌对行为。

研究人员必须确保人工智能的行为方式符合人类的利益，然而，即使是高度可靠的代理编程也不能保证产生积极的影响;系统的效果仍然取决于它是否追求人类认可的目标。超级人工智能系统可能会找到一些聪明的、意外的方法来实现它所设定的特定目标。

例如，设想一个超级人工智能系统设计用于治疗癌症而不做任何坏事，这一目标植根于文化背景和共享人类知识。人工智能可能并不完全理解什么是“坏的”。因此，它可能试图通过窃取资源、以生物圈为代价扩散机器人实验室、绑架试验对象或以上所有方法来治愈癌症。

如果一个现有的人工智能系统失去控制，研究人员只需关闭它，并修改它的源代码。然而，修改超级人工智能系统可能会更加困难。一个系统可以获得新的硬件，改变其软件，或采取其他行动，使原来的程序员只有可疑的控制代理。而且，如果系统保持运行并继续追求其目标，而不是停用或更改其目标，则大多数规划目标都能更好地实现，因此，系统自然会倾向于抵制关闭和抵制对其目标的修改。

为了确保超级人工智能的发展对世界产生积极影响，它必须以一种易于纠正的方式构建，即使它有能力防止或避免纠正。我们的目标不是设计那些在试图欺骗程序员时失败的系统;目标是理解具有缺陷的目标的高度智能和通用推理器是如何被构建成从一开始就没有欺骗程序员的动机的。相反，我们的意图是让第一个高性能的系统成为可补救的，也就是说，让它们认识到它们的目标和其他功能正在进行中，并与程序员一起识别和修复错误。

人们对这类系统的设计或实现细节知之甚少，因为在这一点上，一切都是假设的还不存在超级人工智能系统。对此的积极研究主要集中在小型“玩具”问题和可替代代理的模型上，希望从中获得的见解能够应用于更现实、更复杂的问题版本。科学家试图用这些模型阐明人工智能的关键困难，一个这样的玩具问题是“关机问题”，它涉及设计一组偏好，激励代理在按下按钮时关闭，而不鼓励代理导致或阻止该按钮的按压。这将告诉研究人员，是否可以指定一个效用函数，使用该函数的代理人在没有动机导致或阻止切换的情况下，按需切换他们的偏好。

在这种形式的逻辑环境中研究模型已经导致了部分解决方案，并且进一步的研究推动了逻辑不确定性下推理方法的发展，这可能会继续下去。

到目前为止，这个研究项目的最大成果是“逻辑归纳法”，它是一种新的演绎有限推理模型，我们在数学问题上的不确定性，对我们来说太难了，在这个时刻，我们很难用正确的方法来解决，这就是逻辑上的不确定性。

而且，没有人有足够的计算资源在合理的时间内解决这个问题。尽管如此，数学家们仍然有很多关于数学猜想有多可能成立的理论。因此，他们必须使用某种标准，可以用来判断一个数学陈述的概率是真的还是假的。这种“逻辑归纳法”证明了可计算逻辑电感的存在(产生满足逻辑归纳法的概率赋值的算法)。

这个框架很有可能为元数学、决策理论、博弈论和计算反思等长期以来似乎难以解决的问题开辟新的研究途径。他们也“谨慎乐观”地认为，他们将提高我们对决策理论和反事实推理的理解，以及其他与人工智能价值比对相关的问题。

设计更智能、更安全、更可靠的系统的任务可以委托给早期的比人类更智能的系统。不过，只要人工智能所做的研究是可信的，这种情况就不会发生。重要的是，在做出比人类系统更智能的设计决策之前，发展对AI人工智能比对的正式理解，通过及早开始这项工作，人类不可避免地面临着这样一种风险，即使最终可能变得无关紧要，然而，如果没有做好准备，情况可能会更糟。