当哲学家和伦理学家考虑人工智能的长期未来时，他们担心的是什么?首先，虽然大多数从事人工智能领域的人都对人工智能系统的发展感到兴奋，但很多人担心，如果没有适当的规划，先进的人工智能可能会毁灭整个人类。

在纽约大学人工智能伦理学会议上，来自机器智能研究所的Eliezer Yudkowsky解释说，人工智能看起来不太可能像终结者，而更可能像米老鼠在幻想曲“魔法师学徒”中给生活带来的过于急切的扫帚。扫帚只有一个目标，它不仅要保持专注，不管米奇做什么，它还会成倍增长，变得更有效率。对于一个设计拙劣的人工智能的担忧也是相似的，除了人工智能，最终将没有魔法师来阻止这场混乱。

为了帮助想象一个能力过硬的高级人工智能是如何出错的，牛津哲学家尼克博斯特罗姆(Nick Bostrom)提出了一项关于一种致命的回形针制造机器的思维实验。如果你是卖回形针的，那么制造一个回形针可能就是人工智能最大化的作用了，这样的人工智能看起来没有一点害处。然而，以这作为唯一的目标，一个智能的人工智能可能会以牺牲你关心的其他一切为代价，继续制造回形针。当它用完材料时，它就会想出如何把周围的东西分解成分子成分，然后把分子重新组装成回形针。不久，它将毁灭地球上的生命、地球本身、太阳系，甚至可能毁灭宇宙，这一切都是为了制造越来越多的回形针。

这似乎是一个愚蠢的担心，但谁也没有应对他们的电脑或技术发生奇怪的故障的经验?想想看，由于自动更正或更严重的2010年闪电崩盘，你发送了多少次奇怪的消息。现在想象一下，如果该系统要管理电网或监督武器系统，那么如此天真设计，但非常复杂的程序可能会以指数级的方式变得更糟。

即便是现在，在只有非常狭窄的人工智能系统的情况下，研究人员仍发现，简单的偏见会导致科技世界中种族主义和性别歧视的增加;网络攻击的强度和数量都在增长。

人工智能开发可能会遇到两种类型的问题：可以在以后修复的错误，以及只会犯一次的错误。ai人工智能就像太空探测器一样困难：一旦你发射了它，它就在那里了。人工智能研究员正在构建我们无法有效测试的技术。

随着人工智能越来越接近人类水平的智能，人工智能设计师如何才能确保他们的创作是合乎道德的，并从一开始就做出适当的行为呢?事实证明，这个问题只会引发更多的问题。

有益的人工智能是什么样子的?人工智能会让所有人受益，还是只让一部分人受益?它会加剧收入不平等吗?创造一个能感受痛苦的人工智能背后的道德规范是什么?在没有意识的具体定义的情况下，一个有意识的人工智能被开发出来吗?人工智能的最终目标是什么?这对企业有帮助吗?它能帮助人们吗?人工智能会让我们快乐吗?

如果我们不知道自己想要什么，我们就不太可能得到它。我们不仅要思考人工智能的“最终目标”是什么，还想知道如何达到这个目标。要实现这种先进的人工智能还有很长的路要走，将人工智能的发展现状比作巧克力蛋糕，我们已经知道怎么做糖衣和樱桃，但我们不知道怎么做蛋糕。

如果人工智能的发展就像烤蛋糕一样，那么人工智能伦理似乎就需要在完善蛋奶酥的过程中保持微妙的平衡和注意力。无论高级人工智能是什么时候发展起来的，要确保永远不会出现人工智能错误，唯一的办法就是现在就开始解决道德和安全问题。

随着人类和人工智能的共同努力，可以拯救和改善的生命数量是巨大的。关键是要了解可能会出现什么问题，需要回答哪些问题，才能使人工智能得到有益的发展。