当苹果在2011年发布其软件应用Siri时，iPhone用户对他们的智能个人助理抱有很高的期望。然而，尽管Siri的性能令人印象深刻且不断增长，但它经常犯错误。该软件的不完善突出了当前人工智能的明显局限性：当今的机器智能无法理解人类生活中变化多样的需求和偏好。

然而，随着人工智能系统的发展，专家们相信智能机器最终并且很快将比人类更好地了解这个世界。虽然很容易理解Siri是如何以及为什么会犯错的，但要弄清楚为什么一个超级人工智能做出了这样的决定，将是一项更大的挑战。

如果人类不能理解和评估这些机器，他们将如何控制它们?

保罗·克里斯蒂是加州大学伯克利分校计算机科学专业的博士生，他一直致力于解决这个问题。他相信，为了确保ai人工智能的安全和有益，研究人员和操作人员必须学会衡量智能机器在多大程度上做着人类想要做的事情，即使这些机器超越了人类智能。

半监督学习

监督人工智能系统发展的最明显，最恰当并且最艰难的方法，正如克里斯蒂亚诺解释的那样：“人类交流自己想要的东西的一种方式，就是花大量时间深入研究(人工智能)做出的一些小决定，并尝试评估这个决定有多好。”

但是，尽管这在理论上是可能的，但人类研究人员永远没有时间或资源来评估人工智能做出的每一个决定。“如果你想做一个好的评估，你可以花几个小时分析机器在一秒内做出的决定，”克里斯蒂亚诺说。

对研究者来说，幸运的是，他们不需要评估人工智能做出的每一个决定，就能对它的行为充满信心。相反，研究人员可以选择机器上最有趣和信息最丰富的决定，在这些决定中获得反馈将最大限度地减少我们的不确定性。

主动学习过程是人类训练人工智能的有效方法，但是当人类需要评估超出人类智力的人工智能时会发生什么呢?

试想一台掌握国际象棋的电脑，如果一个人还没有掌握国际象棋，他怎么能给计算机适当的反馈呢?人可能会批评计算机的一个举动，但后来才意识到机器是正确的。随着智能手机和电脑的日益普及，类似的问题肯定会出现。最终，我们需要处理人工智能系统在几乎所有方面都超越人类性能的情况。

使用认可机构评估更智能的人工智能S

当用户拨打电话时，用户对这一决定的反应对于确定该电话是否会在未来的电话通话中断用户至关重要。但是，如果一台更先进的机器比人类用户更能理解中断的后果，那么问人类‘手机是否应该立即打断你’可能是个坏主意。人可能会对中断表示恼怒，但机器可能会更清楚地认识到，为了使用户的生活平稳地运行，这种烦恼是必要的。

在这种情况下，建议人类评价者使用其他智能机器来完成评估人工智能决策的繁重工作。实际上，能力较弱的系统1负责评估能力较强的系统2尽管系统2更聪明，但系统1可以快速处理大量信息，并且可以理解系统2应该如何修改其行为。人力培训员仍将提供投入并监督这一过程，但他们的作用将是有限的。

这一培训过程将帮助谷歌了解如何创建一个更安全和更智能的人工智能系统3，然后人类研究人员可以使用系统2进行培训。这些智能机器就像为人类执行任务的小代理一样，Siri已经有了这种有限的能力来接受人类的输入并弄清楚人类想要什么，但随着人工智能技术的进步，机器将学会执行人类无法完全理解的复杂任务。

我们能确保人工智能拥有人类的价值吗?

随着谷歌和其他科技公司在每次评估中不断改进智能机器，人力培训师将发挥更小的作用。理想情况下，每次你建立一个更强大的机器，它有效地模拟了人类的价值，并做了人类想要的，但当这些机器超越人类智慧时，它们可能会偏离人类的价值观。用人类的话来说：一个复杂的智能机器就像一个庞大的人类组织。如果组织所做的任务太复杂，任何人都无法理解，那么它就可能追求人类不喜欢的目标。

为了解决这些控制问题，克里斯蒂亚诺正致力于“对这种机器学习过程的端到端描述，充实似乎最相关的关键技术问题”。他的研究将有助于加深对人类如何使用人工智能系统来评估更先进的人工智能系统行为的理解。如果他的研究成功，这将是在建立可信赖的人工智能方面迈出的重要一步。