本文翻译自作者 Charles Simon 的文章 Why the future of AI is open source
人工通用智能(Artificial general intelligence，AGI)正在路上，开源是实现其效益和控制其风险的关键。
人工通用智能(AGI)是人工智能的下一个阶段，在这个阶段，计算机会满足并超越人类的智能，几乎可以肯定的是，AGI 将是开源的。
AGI 力求解决人类能够解决的广泛问题。这与狭义的人工智能（包含了当今大部分的人工智能）形成了直接的对比，后者试图在具体的问题上超越人类的能力。简单来说，AGI 就是所有对人工智能的期望成真。
从根本上来说，我们并不真正了解什么是智能，以及是否可能存在不同于人类智能的智能类型。虽然人工智能包括很多已经成功应用于具体问题的技术，但 AGI 则更加虚无缥缈。在不知道技术，也没有具体问题说明的情况下，开发软件来解决问题并不容易。从最近召开的 AGI-20 大会(世界上著名的 AGI 盛会)来看，大家的共识是 AGI 解决方案是存在的。这使得 AGI 在未来的出现即使不是必然的，也是可能的。
实现 AGI
至少有四种方法可以创建 AGI：
- 结合当今狭隘的人工智能能力，积累庞大的计算能力。
- 通过模拟新皮层的 160 亿个神经元来复制人类的大脑
- 复制人脑，上传扫描后的人脑内容；
- 通过定义"认知模型"和用程序语言技术实现模型来分析人类智能
考虑一下 GPT-3，OpenAI 的不朽成就，它可以生成诗、双关语、故事和模仿等创意小说。该程序拥有一个由数十亿个单词和短语及其与其他单词和短语的关系所组成的库。它非常成功，但是由于担心可能被滥用，OpenAI 并没有将其公开。虽然它看起来聪明，但大多数人对 GPT-3 是否能理解它所使用的单词保持怀疑。然而，GPT-3 表明，只要有足够的数据和计算能力，在很多时候都可以欺骗大多数人。
不幸的是，这也是大多数狭义人工智能的情况。一般三岁的孩子堆积木都明白，物体存在于真实的世界中，时间是向前移动的。积木必须在堆积起来后，才能倒下。AI 的基本局限性在于，这些系统无法理解代表了物理事物的文字和图像。
虽然人工智能可能缺乏理解力，但 AGI 往往是目标导向的系统，无论我们为它们设定什么目标，它们都会超越。我们可以设定造福人类的目标，这将使 AGI 获得巨大的好处。但如果 AGI 被武器化，它们很可能在这个领域也会很有效率。我并不担心终结者式的个体机器人，而是担心 AGI 能够制定出更具破坏性的控制人类的战略方法。我相信这些风险超越了当今人工智能所关注的隐私、平等、透明和就业等问题。AGI 类似于基因工程，其潜力是巨大的，无论是在利益还是风险方面。
我们什么时候能看到 AGI？
AGI 可能很快就会出现，但在时间上还没有达成共识。考虑到大脑的结构只被人类基因组定义了一小部分（可能是10%），其信息总量约为 750 MB。这意味着，开发一个只有 75 MB 的项目可能完全可以代表一个具有人类潜力的新生儿大脑。这样的项目完全在开发团队的范围内。
我们还不知道要开发什么，但随时都可能有神经科学的突破，绘制出人类神经瘤的图谱。人类基因组计划（Human Genome Project）开始的时候看起来复杂得离谱，但最终它的完成时间比预期要早。因此在软件中模拟大脑可能同样简单。
不会有"奇点"，某一刻 AGI 突然出现。相反，它将逐渐出现。想象一下 Alexa、Siri 或 Google Assistant 会逐渐变得更擅长回答你的问题。它已经比一个三岁的孩子回答问题的能力更强了，而在某一时刻，它将比一个10岁的孩子更强，然后是一个普通的成年人，然后是一个天才，最后就是超越。我们可能会争论系统越过人类等价线的日期，但在这条路上的每一步，好处都会大于风险，我们会为系统的增强而感到兴奋。
为什么要开源？
对于 AGI 来说，选择开源有所有通常的理由：社区、质量、安全、定制和成本。但 AGI 有三个主要因素使它与其他开源软件不同。
- 存在极端的道德/风险问题。我们需要将这些公开，并设定一个系统来验证和遵守任何出现的标准。
- 我们不知道算法，而开源可以鼓励实验。
- AGI 可能会比人们想象的更早到来，所以认真对待这个话题很重要。
关键是，开源可以促进理性的对话。我们不能直接禁止 AGI，因为那只会把发展转移到不承认禁令的国家和组织。我们不能接受 AGI 的自由竞争，因为毫无疑问，会有一些不法分子愿意利用AGI来达到灾难性的目的。
所以我认为，我们应该寻求 AGI 的开源策略，可以包含众多的方法，并努力做到：
- 使开发公开化
- 让 AI/AGI 社区在限制 AGI 风险的问题上保持一致。
- 让大家知道项目的情况
- 让更多的人认识到 AGI 可能很快就会出现。
- 进行有理有据的讨论
- 将保障措施纳入守则
开放的发展进程是我们实现这些目标的唯一机会
