首页 / 资讯中心 / 交通百科/我们能否为超级智能人工智能的风险做好准备?

我们能否为超级智能人工智能的风险做好准备?

发布时间:2018-09-21 分类:交通百科

风险原则: 人工智能系统带来的风险,特别是灾难性或存在风险,必须受到与其预期影响相称的规划和减缓努力。

人工智能

我们不知道人工智能的未来会是什么样子,虽然有些人可能会做出有根据的猜测,但未来还不清楚。人工智能可以像所有其他技术一样继续发展,帮助我们从一个时代过渡到一个新时代。大部分人工智能研究人员希望它可以帮助我们转变为一个更健康,更智能,更和平的社会。但重要的是要记住ai人工智能只是一种工具,因此,本质上不是好的或坏的,与任何其他技术或工具一样,可能会产生意想不到的后果。

值得关注的是,随着技术的进步,它可以影响更多的人。挥动不好的锤子很可能只会伤害持钉子的人,车祸可能会伤害乘客和驾驶员以及行人,飞机失事可以杀死数百人。现在,自动化威胁着数以百万计的就业机会,虽然大概没有生命会因为直接的结果而丧失,但大规模失业会带来毁灭性的后果。

工作自动化只是一个开始,当人工智能变得非常普遍且非常强大时,将其与人类利益相结合将是一项挑战。如果我们失败了,人工智能可能会成为威胁人类存在的风险。鉴于人们期望先进的人工智能将远远超过迄今为止所见的任何技术,甚至可能超越人类的智慧,我们如何预测并为人类面临的风险做好准备?

非零概率

考虑高级人工智能风险的一个重要方面是认识到风险存在,应该加以考虑。即使存在风险的可能性很小,一旦成倍增加就会产生影响。没有比避免灭绝人类更重要的了。直接风险是代理商产生不必要的,令人惊讶的行为,即使我们计划好好使用人工智能,事情也可能出错,正是因为我们不善于为人工智能代理商指定目标和约束,他们的解决方案往往不是我们想到的。

考虑其他风险

我们应该忽视任何技术的风险而不采取预防措施吗?当然不是,解决人工智能的长期风险,应采取更为细致入微的方法。但这确实让我感到不安,因为再次隐含的前提是人工智能系统极有可能造成存在风险。

我们希望更多的讨论是可解释的机器学习,由于机器学习几乎是每个人工智能成功案例的核心,因此能够理解机器学到的东西对我们来说非常重要。当然,对于深度神经网络,很难理解他们学到了什么。我认为开发技术对我们来说非常重要,因此机器可以解释他们学到了什么,这样人类就可以验证这种理解。......当然,在我们可以信任AGI之前我们需要解释,但是在我们实现一般情报之前很久就需要解释,因为我们部署了更多有限的智能系统。例如,如果医学专家系统推荐治疗,我们希望能够问“为什么?”

愚蠢地部署的狭窄人工智能系统可能是灾难性的,我认为直接风险不是系统智能的函数,而是系统自治的功能,特别是其效应器的功效和对其行为的约束类型。

开放给解释

原则听起来很棒,但你需要解决它。例如,可能存在这种灾难性风险会影响世界上的每个人,它可能是人工智能或小行星或其他东西,但它会影响每个人。但是概率很小,比如说0.000001%。现在,如果您进行预期的效用计算,这些大数字将每次都破坏公式。可能存在一些真正灾难性的人工智能风险,但如果进行预期的效用计算,则可能会被数字误导。

科学家认为我们如何定义相称的比较重要,我们在看概率吗?我们在看损害程度吗?或者我们正在考虑预期效用?您对风险的不同看法可能会为您指出不同的结论。我们可以想象来自人工智能或机器人或基因工程的各种灾难性风险,但如果可能性很小,并且您仍然希望坚持这个预期的实用程序框架,那么这些大数字可能会破坏数学。并不总是清楚正确的方法是考虑风险和对风险做出适当的反应。

但这个原则似乎太模糊了,也许我最关心的是它遗漏了易处理性的问题:我们对风险的关注实际上不应该与风险的预期影响成正比;它应该与注意力的预期有用性成比例。在某些情况下,我们应该更多地关注较小的风险而不是较大的风险,因为较大的风险并不是我们可以取得很大进展的事实。(还有两个单独的和额外的主张,即'我们也应该尽可能避免采取具有明显存在风险的行动'和'用于设计跨域领域超人能力的人工智能系统的许多方法(包括默认方法)学习,推理和规划会带来明显的存在风险。

如果处理不当,开发具有同等人或更高能力的机器来学习和规划许多不同的现实领域,会带来巨大的全球事故风险。因此,开发这项技术的任务需要特别小心,我们应该尽我们所能来确保人工智能研究界的各个部门之间的关系是稳定的,协作的和高度信任的,这样研究人员就不会感到有压力在安全和保障工作上匆忙或偷工减料。