能力警告原则：没有达成共识，我们应该避免对未来ai人工智能能力的上限做出强有力的假设。

在社会的每个组成部分，会在一个未知的时间尺度上发生重大的变化，并且在这个过渡中发挥作用的人们有很大的责任和机会来塑造它，什么会引发这种变化?当然是人工智能。

23个Asilomar 人工智能原则提供了一个框架，以帮助人工智能系统尽可能多的人受益。但是，正如人工智能专家Toby Walsh所说的那样，“原则代表了对话的开始，现在我们需要跟进对每个原则的广泛讨论，这仅仅只是一个开始。

能力警告

人工智能研究人员面临的最大问题之一是：人工智能能够变得多么聪明和有能力?

近年来，人工智能的发展突飞猛进。DeepMind的AlphaGo在具有挑战性的复杂Go游戏中超越了人类表现，该公司已经创建了人工智能，可以快速学会玩Atari视频游戏。我们也看到了语言翻译，自动驾驶汽车，甚至是新药用分子的创新方面的突破和进步。

但人工智能会变得多么先进?它是否会继续仅在狭隘的任务中表现出色，还是会发展出更广泛的学习技能，使大多数任务中的人工智能能够胜过人类?我们如何为人工智能做好准备比我们想象的更聪明?

一些专家认为人工智能可以在几十年内的发展而超越人类，而有些人认为没有人会完成这一壮举。能力警告原则认为，在我们有确凿的证据确认人工智能有朝一日可以实现的目标之前，假设没有上限是更安全的，也就是说，目前任何事情都是可能的，我们需要相应地制定计划。

专家意见

能力谨慎原则引起了专家的共识和不同意见。斯坦福大学的助理教授斯特凡诺·埃尔蒙和路易斯维尔大学的副教授罗曼·扬波尔斯基都采用了一种更安全而不是抱歉的方法。

Ermon转向历史，提醒人们未来的预测是多么困难。他解释说，“总是很难预测未来，想一想人们在一百年前的想象，关于未来会是什么样子。我认为他们很难想象我们今天拥有的东西，我们应该采取类似的，非常谨慎的观点来预测未来，如果它非常难，那么最好安全地进行研究。”

Yampolskiy考虑了当前的技术安全政策，称“在计算机科学的许多领域，如复杂性或加密技术，默认假设是我们处理最坏的情况。同样，在人工智能Safety中，我们应该假设人工智能将具备最大的能力并做出相应的准备。如果我们错了，我们仍将处于良好状态。”

华盛顿大学教授丹·韦尔德对这一原则说：“我同意!作为一名科学家，我反对对任何事情作出强烈或不合理的假设，所以当然我同意。“

但尽管他同意这一原则背后的基本思想，但韦尔德也有所保留。“这个原则困扰着我，”韦尔德解释道，“因为它似乎含蓄地说，人工智能将立即成为超人类，一般很快就会很聪明，我们需要担心这个问题。这种说法让我感到担忧，因为我认为这会分散对可能更大，更重要，更近期，可能具有破坏性的问题的注意力。我比担心天网更担心失业和需要某种有保障的医疗保健，教育和基本收入。而且我更担心一些恐怖分子采取人工智能系统并试图对其进行编程以杀死所有人，而不是我关于人工智能系统突然醒来并决定它应该自行完成。”

我认为人工智能对于人类达到我们的全部能力是必要的，我们也不想承担上限。我认为在增强人类智能的空间中，人工智能在创造个人和职业生活方面确实存在巨大潜力。每个人都好多了。我不认为在这方面未来的人工智能能力有上限。我认为越来越多的人工智能系统与人类一起将增强我们的智能，这是对机器所具有的智能的补充，并将帮助我们做出更好的决策，更好地生活，并解决我们不知道的问题现在该如何解决。

你怎么看?

人工智能有上限吗?人工智能可以达到上限吗?实现不断提高的高级人工智能需要多长时间?我们如何用这种不确定性来规划未来?整个社会如何解决这些问题?我们还应该询问有关人工智能功能的其他问题?