OpenAI的一位前关键研究员认为，人工智能很有可能控制并摧毁人类。
OpenAI语言模型调整团队负责人Paul Christiano表示：“我认为，在许多人或大多数人死亡的情况下，人工智能接管的可能性大约为10-20%。我非常认真。”
Christiano现在是一家非营利组织的负责人，旨在将人工智能和机器学习系统与“人类利益”相结合。他说，他特别担心当人工智能达到人类的逻辑和创造性能力时会发生什么。“总的来说，也许我们谈论的是，在我们拥有人类层面的系统后不久，灾难发生的可能性是50/50。”
最近，世界各地的数十名科学家签署了一封在线信，敦促OpenAI和其他竞相构建更快、更智能人工智能的公司暂停开发。从比尔·盖茨到埃隆·马斯克等大人物都表示担心，如果不加以控制，人工智能对人们来说是一种明显的生存危险。
为什么人工智能会变得邪恶?从根本上说，原因和一个人一样：训练和生活经验。
就像婴儿一样，人工智能是通过接收堆积如山的数据来训练的，而不知道该怎么办。它通过尝试用随机行动实现某些目标来学习，并专注于训练所定义的“正确”结果。
到目前为止，通过沉浸在互联网上积累的数据中，机器学习使人工智能能够在对人类查询做出结构良好、连贯的响应方面取得巨大飞跃。与此同时，为机器学习提供动力的底层计算机处理正在变得更快、更好、更专业。一些科学家认为，在十年内，这种处理能力与人工智能相结合，将使这些机器变得像人类一样有知觉，并有自我意识。
这就是事情变得棘手的时候。这就是为什么许多研究人员认为，我们现在需要弄清楚如何设置护栏，而不是以后。只要人工智能的行为受到监控，它就可以被控制。
但如果硬币落在另一边，即使是OpenAI的联合创始人也表示，情况可能会变得非常非常糟糕。
世界末日?
这个话题已经提了很多年了。11年前，人工智能研究人员Eliezer Yudkowsky和经济学家Robin Hanson就这一问题进行了最著名的辩论。两人讨论了达到“foom”的可能性，foom显然代表“压倒性精通的快速爆发”，即人工智能变得比人类聪明数倍，并有能力自我改进。
Eliezer和他的追随者认为，人工智能不可避免地会毫无征兆地‘疯狂’，这意味着，有一天你建立了一个AGI(人工通用智能)，几个小时或几天后，这个东西已经递归地自我改进为神一样的智能，然后吞噬了世界。这现实吗?
梅茨格认为，即使计算机系统达到了人类智能的水平，仍然有足够的时间来避免任何不良结果。“‘foom’在逻辑上可能吗?也许吧。但这在现实世界完全不可能。长期的超人类人工智能会成为一种存在，但不是‘foom”。