汽车自动行驶在我们的街道上，飞机在我们的天空中飞行，医疗技术诊断疾病，推荐治疗计划，拯救生命。

人工智能系统已经存在于我们生活之中，而且已经存在了一段时间。然而，世界还没有看到一个超级人工智能(ASI)，它的认知能力超越了我们自己的所有相关指标。但技术正在迅速发展，许多人工智能研究人员认为，超级人工智能的时代可能正在迅速来临，一旦它到来，研究人员和政治家都无法预测会发生什么。幸运的是，许多人已经在努力确保这种人工智能的兴起不会导致人类的堕落。

全球灾难风险研究所是一个致力于防止全球文明毁灭的智囊团。全球灾难风险研究所关注的是一系列威胁，这些威胁使我们人类的生存处于危险之中。从气候变化到核战争，从外星智慧到人工智能-全球灾难风险研究所涵盖了这一切。全球灾难风险研究所正在致力于“开发结构化风险模型，以帮助人们了解哪些风险可能存在，以及减少这种风险的一些最佳机会在哪里，这项任务并不容易。

根本问题源于这样一个事实：与更常见的威胁(如死于车祸的风险或患癌症的风险)不同，从事超级人工智能风险分析的研究人员在进行模型和预测时，没有可靠的案例研究可供使用。因为计算机从来没有占领过世界，也没有杀死过所有人。这意味着我们不能只看数据，而这正是我们应对许多其他风险的方式。这不仅是以前从未发生过的，而且这种技术甚至还不存在。如果它建成了，我们也不知道它将如何建成。

那么，研究人员不知道人工智能会是什么样子，又没有真正的数据可供研究，他们如何才能确定人工智能所带来的风险呢?。

幸运的是，谈到人工智能超智能，人工智能专家并不完全在未知领域。还是存有有一些想法和一些相关的证据，但这些东西是分散的。为了解决这个问题，全球灾难风险研究所创建了模型。他们获取现有的信息，对其进行组织，然后以有组织的方式发布结果，以便研究人员能够更好地理解主题，以及可能影响当前问题结果的各种因素，并最终更好地了解与超级人工智能相关的各种风险。

例如，当试图找出设计一个人工智能以使其安全运行是多么容易时，需要建模的子细节之一是，人类是否能够在人工智能失控之前观察并测试它。这一次，我们需要对人工智能进行建模。换句话说，人工智能研究人员是否能够识别出人工智能有危险的设计并将其关闭。为了模拟这个场景并确定什么是风险和最可能的场景，全球灾难风险研究所利用现有的信息-人工智能研究人员的观点和观点、关于AI技术的已有知识和它的功能等等-并通过构造上述信息以及参数或数据集中的任何不确定性来建模主题。

这种建模和风险分析最终使团队能够更好地理解问题的范围，并通过清晰地组织信息，推进超级情报研究社区中正在进行的对话。这个模型并不能让我们对未来发生的事情有一个完整的了解，但它确实让我们能够更好地理解我们在超级人工智能兴起时所面临的风险、可能发生的事件和结果，以及决策者和人工智能研究人员为确保ASI造福于人类而应该采取的具体步骤。

当然，当涉及到人工超智能的风险时，我们是否能够观察和测试我们的人工智能只是一个更大模型的一小部分。

模拟灾难，为了了解怎样才能带来ASI的天启，以及我们如何才能阻止它，全球灾难风险研究所已经创建了一个模型，从一些有利的角度来研究以下的问题：

第一步：是否有可能建立一个人工智能?

第二步：人类会建立超智能吗?

第三步：人类会失去对超智能的控制吗?

这个模型的前半部分集中在如何构建ASI的具体细节上。模型的后半部分深入分析了与创建有害的ASI有关的风险分析，并研究了以下内容：

第一步：人类会设计出有害的人工智能吗?

第二步：超级智能会自行发展出有害的行为吗?

第三步：是否有什么东西阻止超智能的行为是有害的(如另一个人工智能或一些人类的行动)?

每一步都建模了许多不同的可能性，以揭示我们面临的各种风险，以及这些威胁的重要性和可能性。虽然模型仍在改进中，但已经取得了很大的进展。这种风险开始有意义了，我们开始清楚地看到，要看到这样的灾难，需要付出什么样的代价。然而，这项研究还太年轻，这些研究超智能及其所有风险和政策方面的人，我们不能确切地确定我们现在想要什么政策。现在发生的事情更多的是关于人工智能的通用对话。它承认这样一个事实，即人工智能不仅仅是一个技术和经济机会，它还涉及风险和困难的伦理问题。