人工智能研究的哪些方面应该是开放的，哪些方面应该是封闭的，以保证人工智能系统的安全和有益于人类?

在过去的一年里，关于ai人工智能研究的开放程度已经有了很多的讨论，在这个问题上，无论是在人工智能安全团体内部还是外部，都存在分歧。许多人有理由害怕集中力量创建AGI并决定它的价值的权利在一个公司或组织手中。许多其他人担心开源AGI的信息危害以及由此产生的误用的可能性。我认为在公开和保密之间做出某种妥协是必要的，因为完全保密和完全公开的两个极端似乎都是非常糟糕的，没有单一的开放和保密轴心，我们可以对AGI开发的不同方面做出单独的判断，并制定一套指导方针。

有关人工智能开发的信息可以大致分为两类，技术和战略。技术信息包括研究论文、数据、源代码(用于算法、目标函数)等。战略信息包括目标、预测和时限、道德操守委员会的组成等。对战略信息的开放无论在短期还是长期影响上都可能是有益的，而技术信息的开放在短期内是好的，但从长期来看可能是不好的，这是由于种族状况的加剧。我们需要进一步考虑发布不同类型技术信息的权衡。

共享论文和数据对研究过程更为重要，也比共享代码更具有潜在的危险性，因为仅从这些信息中很难重构代码。例如，考虑到调整超参数的困难和计算体系结构之间的差异，基于研究论文的神经网络算法的结果很难重现。

发布运行AGI所需的所有代码，特别是在它被广泛调试、测试和防范坏角色之前，将是极其不安全的。任何有足够计算能力的人都可以运行代码，并且很难关闭程序或防止它在互联网上复制自己。

然而，不发布任何源代码也是一个坏主意，这在目前是不切实际的，因为人工智能研究人员有很强的动机分享至少部分代码，以获得认可和可复制性。它也将是次优的，因为共享代码的某些部分可能有助于安全。例如，在不使用优化代码的情况下，将目标函数代码开源是有意义的，因为优化代码可以揭示出优化的目的是什么，而不是如何优化。这样就有可能核实这一目标是否充分代表了社会的价值观，无论如何，这个制度中对公众来说是最可以理解和最重要的部分。

要核实一家公司或组织在多大程度上共享有关人工智能开发的技术信息，并强制实行完全公开或保密，是相当困难的。对于期望共享的内容和不共享的内容，指定指导方针并没有多大的坏处。对于当今领先的人工智能公司来说，制定一套短期和长期的联合开放指导方针将是一项有价值的努力。