人类控制：人类应该选择如何以及是否将决策权交给人工智能系统，以完成人类选择的目标。

什么时候才能让机器做决定，而不是让一个人来做决定呢?我们中的大多数人都允许地图软件选择通往新地点的最佳路线，当我们在憧憬未来的人工智能自动驾驶汽车的时候，我们中的许多人都很兴奋地让自动驾驶汽车带我们去我们的目的地，但是你准备好让你的车为你选择目的地了吗?汽车可能会意识到，你的最终目标是吃饭、购物或跑腿，但是大多数的情况下，我们有特定的商店或餐厅，所以可能并不想让车辆为我们作出这些决定。

当人工智能变得比人类聪明得多时，我们如何解决控制的问题?如果人工智能比我们更了解世界和我们的喜好，那么如果人工智能为我们做所有的决定会更好吗?要解决这样的问题并不容易，几乎每个人都同意这个人类控制的问题涉及到人工智能设计所面临的一些最具挑战性的问题。

人类控制意味着什么?

这是一个有趣的问题，因为现在还不清楚违反这一规定意味着什么。在某种意义上，人工智能系统可以做出何种非人类委托给系统的决策?人工智能是人类创造的，这个原则，在实践中，更多的是关于我们有意识地选择让机器做什么具体的决定。一种说法是，我们不介意让机器来做决定，但是不管他们做什么决定，我们都想让他们自己来完成，但不能与我们人类的控制发生冲突。

比方说，在一个像人一样用腿走路的导航机器人中，控制它的人不可能决定每一个动作的每个角度。人类不会决定每只脚将在哪里着陆，但人类会说，我对机器做出这些决定感到满意，只要它不与其他更高层次的命令发生冲突。

我们可能比许多人意识到的更接近于赋予人工智能决策权，在很多方面，我们已经把控制权拱手让给了机器，例如，在所有股票交易中，AIS占85%以上，包括发电厂、核反应堆、电网、交通信号灯协调等，这些都是“死胡同”。有意义地控制这些复杂过程所需的复杂性和速度使人无法进行有意义的控制。我们只是没有足够快的速度来应对超快事件，比如那些在算法交易中出现的事件。我们也没有足够的能力记住成千上万的变量，或者理解复杂的数学模型。我们对机器的依赖只会增加，但只要他们做出了正确的决定(如果我们足够聪明，有足够的数据和足够的时间，我们会做出正确的决定)，我们就可以接受他们做出这样的决定。只有在机器决策偏离我们的情况下，我们才希望能够干预。当然，找出我们存在分歧的情况正是尚未解决的价值比对问题。

我们担心的是，与‘下一步该往哪里走’相比，机器会做出更复杂、更重要的决策。当您有一台机器可以开放的、灵活的方式运行时，您如何在不委托一切的情况下委派任何东西呢?当你有一个为你工作的人，你有一些问题需要解决，你说，‘去找出它，’你没有具体说明，但在这个过程不要违反任何法律，也不要把公司所有的钱都花在解决这个小问题上，人工智能机器人能找到我需要的东西吗。

这是一个具体的说明，从更一般的责任的想法，每一个决定要么是由一个人作出的，或明确委托给机器的。但一旦人工智能系统开始以更灵活、开放的方式运行，这一系统将特别难以实现。

信任与责任

人工智能往往被比作儿童，无论是在学习的水平，一个系统已经取得了，也是如何学习的系统。就像我们和一个孩子在一起一样，我们也在犹豫是否要给一台机器太多的控制，直到它被证明是安全可靠的。当涉及到地图、金融交易和电网运行时，人工智能系统可能已经赢得了我们的信任，但有人质疑，随着人工智能系统变得更加复杂，或者当安全和福祉面临更大风险时，这种趋势能否持续下去。

然而，我们所看到的研究也表明，现在是最危险的时刻，现在的人类正在享受的机器运转带来的便利，这是最危险的情况。最近的研究发现，如果像自动驾驶汽车这样的系统很少出现问题，人们就会停止关注，当问题出现时，人们很难重新聚焦和解决问题。

必须先由人类授权

已经提到的决策机器的问题外，如果出了问题，谁该负上责任呢?这与人类控制和责任的观念有关。如果你没有人的控制，那么谁是错误的负责人就不清楚了。况且由人类先授权可以让人类先判断一下，这样做是不是对人类有益的，再决定是否同意。

你认为如何?

人类在任何时候都应该控制机器的决定吗?这有可能吗?什么时候由机器来接管是合适的?很明显，有时机器比人类更有能力安全地处理一种情况，但这是最重要的吗?什么时候你对一台机器替你做决定感到舒服?还是你更愿意自己保持控制?