我们的人工智能系统在封闭的世界里工作得非常好，这是因为这些环境包含了一定数量的变量，使世界变得完全可知和完全可预测。在这些微环境中，机器只会遇到熟悉的物体。因此，他们总是知道自己应该如何行动和回应。不幸的是，当这些系统被部署到现实世界中时，它们很快就会变得混乱起来，因为它们对许多对象并不熟悉。这不是一个小问题，因为当AI人工智能系统变得混乱时，结果可能是致命的。

例如，假设一辆自动驾驶汽车遇到了一个新奇的物体，它是应该加速呢，还是应该减速呢?或者考虑一个能看到异常的自动武器系统，它应该攻击，还是应该关闭电源?每一个例子都涉及生死攸关的决定，如果我们要在现实环境中部署先进的人工智能系统，我们必须确信，当它们遇到不熟悉的物体时，它们的行为会是正确的。

要解决这个识别问题，首先要确保我们的人工智能系统遇到外来物体时，它们会识别出来，并且不会把它误认为是它们熟悉的东西。为了实现这一点，我们必须摆脱(或至少大幅度修改)目前主导人工智能研究的歧视性训练方法。然而，要做到这一点，我们必须首先解决开放类别问题。

理解开放范畴问题

当我们沿着这条路行驶的时候，我们会遇到几乎无限多的异常现象。也许一场猛烈的风暴即将来临，冰雹将开始降下，也许我们的视力会因为烟雾或过多的雾而受阻。虽然这些遭遇可能是意外的，但人类的大脑能够很容易地分析新的信息，并决定采取适当的行动，而不是突然砰的一声停车。

因为它们的编程方式，我们的计算机系统不能做同样的事情

如今，我们使用机器学习来创建人工智能系统和软件的方式，通常使用的是一种叫做区别性训练的东西，它隐含着假设世界只由一千种不同的物体组成的假设。这意味着，如果一台机器遇到了一个新的物体，它将假定它一定是它训练过的一千件东西中的一件。结果，这些系统对所有外来物体进行了错误分类。

从实用的角度来看，这意味着创建一个异常检测算法，为人工智能系统检测到的每个对象分配一个异常分数。必须将该分数与设定的阈值进行比较，如果异常分数超过阈值，系统将需要发出警报。作为对这一警报的反应，人工智能系统应该采取预先确定的安全措施，例如，一辆自动驾驶汽车检测到异常情况，可能会减速并停到路边。

创造安全的理论保障

要使这种方法发挥作用，有两个挑战。首先，我们需要良好的异常检测算法。在此之前，为了确定哪些算法运行良好，我们比较了八种最先进的异常检测算法在大量基准问题上的性能。

第二个挑战是设置报警阈值，以保证人工智能系统能够检测到所需的部分外来物体，为这一界限设定一个可靠的设定是最具挑战性的研究问题之一，因为有可能存在无限种的外星物体。问题是，我们不可能把所有外来物的训练数据都贴上标签。如果我们有这样的数据，我们只需对有标签的数据进行识别分类器的训练。

为了避开这个标签问题，可以假设鉴别分类器可以访问反映更大统计总体的代表性“查询对象”样本。例如，可以通过收集世界各地高速公路上行驶的汽车的数据来获得这样的样本。此示例将包含部分未知对象，其余对象属于已知对象类别。

值得注意的是，样本中的数据没有标记，相反，人工智能系统给出了样本中外来物所占比例的估计值。并且通过将样本中的信息与用于训练判别分类器的标记训练数据相结合，新的算法可以选择一个好的报警阈值。如果已知外来物的估计分数是真实分数的过高估计，那么所选择的阈值就可以保证检测出目标的外来物百分比。

在下一阶段的研究中，开始在更复杂的环境中测试算法。到目前为止，主要关注的是分类，即系统观察图像并对其进行分类。接下来，计划转移到控制代理人，像自动驾驶汽车的机器人。在每个时间点上，为了决定选择什么行动，我们的系统将根据对Agent行为及其环境的学习模型进行前瞻性搜索。