机器学习系统令人困惑-只要问问任何人工智能研究人员就知道了。他们的深层神经网络运作得非常快，在做出决定前几秒钟就考虑到了成千上万的可能性。人类的大脑根本跟不上。

当人们学会玩围棋时，老师可以挑战他们的决定并听取他们的解释。通过这种互动，教师确定了学生理解的限度。但是DeepMind的AlphaGo无法回答这些问题，该公司最近在围棋比赛中击败了世界冠军，当AlphaGo做出一个意外的决定时，很难理解它为什么做出这样的选择。

无可否认，AlphaGo的风险很低：如果它做出意外的举动而失败，没有人会受到伤害。但是，部署我们无法理解的智能机器可能会开创一个危险的先例。

理解和信任机器是ai人工智能安全中“要解决的关键问题”，这在今天是必要的。因为机器学习几乎是每个人工智能成功故事的核心，所以对我们来说，能够理解机器学到的东西是非常重要的。

随着机器学习(ML)系统在医疗、交通和金融方面承担更大的控制权，信任它们的决策变得越来越重要。如果研究人员能够像Weld试图做的那样，对人工智能进行编程来解释他们的决定和回答问题，我们就能更好地评估他们是否能够安全地独立操作。

教机器自我解释

WEAW致力于暴露ML系统中的盲点的技术，或“未知数”，当ML系统面对“已知的未知”时，它会识别出它与情况的不确定性。然而，当它遇到一个未知的未知，它甚至不会认识到这是一个不确定的情况：系统将有极高的信心，其结果是正确的，但它将是错误的。分类器通常有这样的自信，因为他们接受过一些数据的训练，这些数据中有一些规律性，但在现实世界中却没有反映出来。

考虑一个ML系统，它已经被训练来分类狗的图像，但是只被训练在棕色和黑色的狗的图像上。如果这个系统第一次看到一只白色的狗，它可能会自信地断言它不是一只狗。这是一个“未知的未知”-训练的不完整的数据，分类器不知道这是完全错误的。

ML系统可以被编程要求人类对已知的未知事物进行监督，但由于它们不能识别未知的未知事物，因此它们不能轻易地要求监督。在发现未知的未知因素之后，人类接下来可能想知道的是，为什么学习者会犯这些错误，以及为什么学习者如此自信。机器不像人类那样“思考”，但这并不意味着研究人员不能对它们进行工程设计来解释它们的决定。

一个研究小组联合训练了一个ML分类器来识别鸟类的图像并生成字幕。例如，如果人工智能识别一只巨嘴鸟，研究人员就可以问“为什么”，然后，神经网络就可以做出解释：巨大的、五颜六色的账单表明是一只巨嘴鸟。

虽然人工智能开发人员更喜欢以图形方式解释某些概念，但消费者将需要这些交互来涉及自然语言和更简单的解释。任何解释都建立在简化假设的基础上，但有一个棘手的判断问题，即简化假设可以做什么，不同的观众想要不同层次的细节。

在图像识别任务中，解释这只鸟巨大而多彩的账单也许就足够了，但随着医疗诊断和金融行业的发展，研究人员和用户会有更多的需求。就像师生关系一样，人和机器应该能够讨论人工智能学到的东西，以及它还需要工作的地方，必要时可以深入研究细节。我们希望在他们的推理中找出错误，理解他们为什么会犯这些错误，然后努力改正他们。

管理不可预知的行为

然而，ML系统不可避免地会让研究人员吃惊，这个系统能够并且会找到一些方法来实现它的目标，这与你想象的不同。政府和企业承担不起部署高智能人工智能系统的费用，这些系统会做出意外的、有害的决策，特别是如果这些系统控制着股市、电网或数据隐私的话。为了控制这种不可预见性，希望在执行新的计划之前，先获得人类的批准。

这是一个判断的决定，如果它看到人类执行行动那么这是正常的事情。另一方面，如果它想出一些特别聪明的方法，通过执行这个很少使用的动作来达到目标，也许它应该由一个活生生的人来运行那个动作。

随着时间的推移，这一过程将为认可机构制定规范，因为他们知道哪些行动是安全的，哪些行动需要确认。

对当前人工智能系统的影响

使用人工智能系统的人往往误解了它们的局限性，医生使用人工智能来捕捉疾病还没有对人工智能进行训练，也不能理解其机器学习。而人工智能系统，没有被编程来解释它的决定，不能把问题传达给医生。

焊接希望看到一个人工智能系统，与预先培训的ML系统互动，并了解如何预先培训的系统可能会失败。该系统可以分析医生的新诊断软件，找出其盲点，如未知的未知数。然后，可解释的人工智能软件可以使人工智能与医生交谈，回答问题和澄清不确定性。

其应用范围还扩展到金融算法、个人助理、自动驾驶汽车，甚至在法律体系中预测累犯，在法律体系中，解释可以帮助根除偏见。ML系统非常复杂，人类可能永远无法完全理解它们，但这种前后对话是至关重要的第一步。