2023年3月20日，麻省理工学院AI研究员、科技播客主播Lex Fridman，专访OpenAI CEO Sam Altman，讨论话题涉及GPT-4、ChatGPT、通用人工智能AGI、AI的风险与未来、全民基本收入UBI、马斯克、微软等。
本期“长期主义”，选择Lex Fridman访谈Sam Altman纪要，六合商业研选翻译，分享给大家，Enjoy!
正文：
全文35,611字
预计阅读72分钟
OpenAI CEO Sam Altman讨论GPT-4、ChatGPT、AGI的未来
来源：Lex Fridman播客
时间：2023年3月20日
字数：35,611
Lex：Sam Altman是OpenAI CEO，OpenAI是GPT-4、ChatGPT、DALL-E、AI 编程工具Codex等AI技术背后的公司。这些突破被认为是AI史上最伟大的成就之一，无论是单独这些技术，还是与计算机技术，以及与人类整体结合起来。
请允许我谈一谈AI带来的可能性与危险，尤其是在人类文明史中的当前时刻，带来的危险。
我认为这是关键时刻，我们正站在深刻社会变革的悬崖边缘，不久将来，没人知道什么时候，但许多人，包括我在内，相信我们有生之年能实现，就是我们构建并大规模部署的AI系统中的超级智能力量，将远超人类种群的集体智慧，这既令人兴奋，又令人恐惧。
令人兴奋的是，我们知道还有无数应用，这些应用将使人类能够创新、茁壮成长，摆脱当今世界上广泛存在的贫困与苦难，完成对幸福的充分人性化追求。
令人恐惧的是，AGI很有可能具有毁灭人类文明的能力，有意或无意，可以压抑人类的精神力量，就像英国著名小说家乔治·奥威尔《1984》(在假想的未来社会中，独裁者以追逐权力为最终目标，自由被彻底剥夺，下层人民的人生变成了单调乏味的循环)中极权主义那样扼杀人类精神，或像英国作家赫胥黎《美丽新世界》(600年后的未来世界，物质生活十分丰富，科学技术高度发达，人性在机器的碾磨下灰飞烟灭)中快乐主义，让人类成为被控制的行尸走肉。
这就是为什么我与一系列领导者、工程师、哲学家对话，这些对话不仅是关于AI的技术对话，还关于权力，关于部署、监督、平衡这种权利的公司、机构与政治体系，关于分布式经济系统，关于激励这种权力的安全性与人类适应性，关于部署AGI的工程师与领导者的心理，关于人类本性的历史，关于我们在大规模变革中展现善恶的能力。
能认识并有机会与许多在OpenAI工作的人交谈，我感到非常荣幸，包括Sam Altman、Greg Brockman、Ilya Sutskever、Wojciech Zaremba(OpenAI AI编程工具Codex 负责人)、Andrej Karpathy、Jakub Pachacki(OpenAI开发工程师)，以及许多其他人。对我来说，Sam完全敞开心扉，愿意进行多次交流，这意义非凡。
我将继续展开对话，既是为了庆祝AI社区的杰出成就，也是为了防止在各家企业和领袖做出重大决策时，落入缺失某些角度考虑的陷阱，我会始终以我的微小力量，来帮助他们实现目标。如果我失败了，我会努力改进。
亲爱的朋友们，现在发言的是Sam Altman。
以下是Lex Fridman与Sam Altman对话纪要：
GPT模型构建
Lex：从高维度看，GPT-4是用来做什么的?它如何运作，最让人惊奇的用处是什么?
Sam：这是一个系统，我们会在未来回顾，并说它是非常早期的AI系统，它运行缓慢，有很多错误，做很多事都不是很好，但最早的计算机也是如此。它仍然指向了一条道路，这对我们的生活非常重要，尽管需要经历几十年演变。
Lex：你认为这是关键时刻吗?50年后，回顾所有GPT版本时，哪一个是很大的跳跃?关于AI历史的维基百科页面中，会写入哪个GPT?
Sam：这是个好问题，我有种想法，我认为进步是持续的指数增长，就像不能说现在是AI从无到有的时刻。我很难找到一个单独的实物，我觉得这是非常连续的曲线。历史书会记载GPT-1、GPT-2、GPT-3、GPT-4或GPT-7，那由他们决定，我真的不知道。
我认为如果要从我们迄今看到的，选择某个时刻的话，我会选择ChatGPT，重要的不是底层模型，而是它的可用性、基于人类反馈的强化学习RLHF(Reinforcement Learning from Human Feedback)、和与它的交互方式。
Lex：ChatGPT是什么?RLHF是什么?那道菜里是什么魔法元素，让它变得更加美味?
Sam：我们会让这些模型，在大量文本数据上进行训练，在这个过程中，他们学习了其中基本原理，关于在某些方面基础表现的一些原理，可以做出一些惊人的事。当我们第一次完成对基础模型的模型训练后，它在评估中可以做得非常好，可以通过测试，可以做很多事，有很多知识，但它不是非常有用，或至少说不容易使用。
RLHF是基于人类反馈进行调整的方式，最简单版本是，模型展示两个输出，问人类哪一个更好，人类评分员偏好哪一个，然后使用强化学习方式，将其反馈到模型中。这个过程中，使用相当少数据，却非常有效使模型更有用，所以RLHF是将模型与人类想让它执行的任务进行对齐Alignment(指确保AI与人类价值观、道德准则、利益保持一致)的方式。
Lex：因此有一个巨大的语言模型，通过一个巨大的数据集进行训练，来创建这种包含在互联网中的背景智慧知识，然后在这个过程中，加上一点人类的指导，使它看起来更加令人惊叹。
Sam：也许只是因为它更容易使用，得到你想要的东西要容易得多。第一次就能做好的次数越多，准确率就越高，易用性非常重要，即使基本能力之前就已存在。
Lex：就像它理解了你问的问题，或感觉好像你们有点儿达成共识。
Sam：它正在试着帮助你。
Lex：这是一种对齐Alignment(指确保AI与人类价值观、道德准则、利益保持一致)的感觉?
Sam：是的。
Lex：我意思是，这可能是一个更技术性的术语，你是说这并不需要太多数据，这不需要太多人类监督?
Sam：公正的说，我们对这部分科学的理解，比我们对首次创建这些大型预训练模型的科学的理解更早，而且数据少了很多。
Lex：那很有趣，人类引导的科学，这是非常有趣的科学，这将成为非常重要的科学，以理解如何使其可用，如何使其睿智，如何使其道德，如何使其在我们所思考的所有方面都保持一致。很重要的是，哪些是人类的反馈，以及将人类的反馈纳入这个过程中。
它是用什么数据集进行训练?你能大概谈谈这个庞大的预训练数据集吗?
Sam：我们花了大量精力，将数据从许多不同来源汇集在一起，有开源信息数据库，有通过合作伙伴获得的数据，有网络上的东西，我们很多工作是建立一个庞大的数据集。
Lex：有多少是与meme(网络上广泛传播的幽默、讽刺等元素的图片、视频等)相关的Subreddits(Reddit论坛的不同板块)?
Sam：不是很多，如果更多一点的话，也许会更有趣。
Lex：所以有些内容来自Reddit，有些内容来自新闻、报纸，还有普通网站。
Sam：世界上有很多内容，比大多数人想的更多。
Lex：内容实在太多了，主要任务不是去寻找更多内容，而是筛选内容，对吧?
Sam：是的。
Lex：这是有魔法吗?因为似乎有几个问题需要解决，包括神经网络的算法设计、模型大小、数据选择，还涉及人类监督，基于人类反馈的强化学习等。
Sam：是的。我认为有件事并没有被完全理解，那就是要做出最终产品，比如GPT-4，需要把所有这些部分组合在一起，然后必须在每个阶段，都要么想出新点子，要么非常出色执行现有点子，这需要相当多的工作。
Lex：所以这里有很多问题需要解决，你在博客文章中提到GPT-4，在某些步骤上已出现一种成熟的趋势，例如，在完成整个模型训练之前，就能预测模型行为。
Sam：顺便说一句，这是很了不起的事。就像是一种科学定律，可以让你预测出这些输入会得出什么结果，就像你可以预测它智商水平。
Lex：它是在科学范畴内，还是仍然不确定，因为你说了定律、科学这两个词，这些是雄心勃勃的术语。
Sam：有点贴近，我会说，这要比我曾经敢于想象的要科学得多。
Lex：这样你只需进行少量训练，就可以了解完全训练后，系统的特殊特征。
Sam：你知道，就像任何一门新的科学分支一样，我们将会发现一些不符合数据的新事物，并必须提出更好的解释，这就是发现科学的过程。但根据我们现在所知道的，甚至包括我们在GPT-4博客文章中提到的，我认为我们应该对目前能预测到这种程度，感到惊叹。
Lex：是的.你可以看着1岁的婴儿，预测他日后在SAT考试中的表现，这似乎是类似的问题。但这里，我们实际上可以详细检查系统中，你能预见的各方面。GPT-4这个语言模型，学习了很多科学与艺术等方面的某种东西，OpenAl内部，你或Ilya Sutskever以及其他工程师，是否对所谓的某种东西理解越来越深入?还是仍是一种美丽、神秘的谜团?
Sam：我们可以有很多不同的评估方式，我们在训练模型之后，对其进行评估，然后说这在某些任务上表现的有多好。
Lex：稍微离题一下，谢谢你在某种程度上开源了评估过程。
Sam：是的。我认为那会非常有帮助。但真正重要的是，我们投入大量时间、精力、资金到这件事上，但最后得到的是什么?对人们有多大用处?给人们带来多少欢乐?对帮助他们创造更美好的世界，或是新科学、新产品、新服务，究竟有多大帮助?或把它理解为一组特定的投入，提供给人们多少价值与实用性，我觉得我们正在更好理解这点。
我们是否完全理解模型为什么会做这件事，而不是另一件?并没有，至少并不总是这样。但我会说，我们正在越来越像推开迷雾一样，逐步揭开更多神秘面纱，就像我们做GPT-4时一样。
Lex：就像你说的，我们通过提问来理解，因为它正在压缩整个网络，转换成少量参数，将所有东西都整合进有组织的黑匣子，那就是人类智慧，还是什么?
Sam：可以说是人类知识。
Lex：人类知识，那么差异是什么?知识与智慧之间区别是什么?我觉得GPT-4也可能充满智慧，那从知识到智慧的飞跃是什么?
Sam：我们训练这些模型的方式很有趣，我怀疑它的处理能力太强了，让人们正在将模型作为数据库使用，而不是将模型作为推理引擎使用。
这个系统真正令人惊奇的地方，在于它根据某些定义，可以进行某种推理，当然我们可以对此有争论，而且有很多定义不准确的地方。
也许像学者、专家以及Twitter上那些自以为是的评论员所说的那样，“不行，你误用了这个词”。我只能说，是的。你知道，随便，随便。
但我认为大多数使用过这个系统的人，会说它在朝这方向做一些事，我认为那是非常了不起的。最令人兴奋的是，在吸收人类知识过程中，它产生这种推理能力。
现在，某种程度上，我认为GPT-4将会增加人类智慧;但在其他某些意义上，你可以使用GPT-4做各种事，但似乎这里完全没有智慧。
Lex：与人类互动中，它似乎拥有智慧，尤其进行有多个提示的连续互动时。ChatGPT网站上说，对话格式使ChatGPT能回答后续问题、承认错误、质疑不正确前提、拒绝不合适请求，这让人有种感觉，就像它在努力思考。
Sam：是的。人类总是很容易赋予物品过多拟人化，我也有同感。
政治偏见
Lex：也许我会稍微离题一下，谈一谈Jordan Peterson(加拿大多伦多大学心理学教授，临床心理学家、文化评论家)，那个在Twitter上发布有关政治问题的人。
Jordan要求ChatGPT分别说出关于美国现任和前任总统积极的评价。ChatGPT回答后，又问它这两个答案分别有多少字符。ChatGPT答案，关于美国现任总统正面响应，比关于美国前任总统正面响应更长。Jordan让ChatGPT用相同数量字符重新回答，但ChatGPT答案字符数还是不一样。
这一切对我来说，都非常值得注意。我觉得ChatGPT大概理解了，但没有做到。Jordan将其描述为ChatGPT在撒谎，并说知道它在撒谎。ChatGPT也道歉说，我做这个工作失败了。
但在ChatGPT内部，似乎存在一种挣扎，不知道如何处理这种情况。就像回答问题时，要产生相同长度文本，还有一系列提示的序列问题，所有这些需要它做多重平行推理，它似乎在挣扎。
Sam：这里有两件不同的事在进行。
首先，有些事看起来显而易见和简单，但对模型来说，真的很困难。我没有看到你说的这个例子，但要统计字符、统计单词数，由于这些模型的架构原因，使它们很难表现得很好。
其次，我们公开推出这些技术，因为我们认为让全世界尽早获得这些技术的接入很重要，这样将塑造它将来发展的方式，帮助我们找到长处与短板。
每当我们推出新型号产品时，这周我们刚感受到GPT-4的力量，来自外部世界的集体智慧与能力，可以帮助我们发现我们无法想象的事物，这些只从我们内部来看，做不到。
模型可以做两件伟大的事，分别是提供新功能与修复既有弱点。因此这个把产品推出去的迭代过程，可以寻找优秀的部分与糟糕的部分，来快速改善它们，让人们有时间感受技术并提供反馈，与我们一起塑造它们，我们相信这非常重要。
这是我们在开发过程中做出的平衡，意味着我们发布的产品会存在深层次不完美，我们希望出错的时候代价不要太高，也希望每次迭代可以做得更好。
GPT-3.5发布时，存在偏见问题，这不是我感到自豪的事，现在GPT-4已大有改善。很多批评家已经说过，在GPT-3.5中遇到的很多问题，在GPT-4中得到很好改善，我很尊重他们观点。
但没人会认为单一模型在每个话题上，都没有偏见。我认为解决这个问题的答案，就是给用户更多的个性化控制与更精细的颗粒度控制。
Lex：我要说的是，我认识Jordan Peterson，我尝试与GPT-4谈论Jordan Peterson。我问它，Jordan Peterson是法西斯主义者吗?它首先提供了Jordan背景信息，描述Jordan身份，职业是心理学家等;然后说，据报道，有些人称Jordan是法西斯主义者，但这些说法没有实际依据;最后描述了Jordan，就像那些一直对各种极权意识形态公开批评的人一样，信仰个人主义与各种自由，这与法西斯主义的意识形态相矛盾等。它详细阐述，并很好收尾，就像一篇大学论文。
Sam：我希望这些模型能让世界变得更加细腻。
Lex：是的。感觉真的很新颖。
Sam：Twitter在某些方面破坏了一些东西，也许现在我们可以找回一些。
Lex：这让我感到兴奋，例如，我问ChatGPT，Covid是否泄露自实验室?它的回答非常巧妙，提供两种假设，并进行描述，让人耳目一新。
AI对齐Alignment
Sam：当我还是孩子时，我曾想着创造AI，当时我们并没有称其为AGI，我曾认为创造AI是最酷的事。我从没想过我有机会参与这个项目工作，现在我不仅有机会参与其中，还制作了非常初级的原型AGI。
但是如果你告诉我，之后我必须花时间与人争论的事，是关于模型说了一些人好话的字符数，是否与说了其他人好话的字符数相同;如果你说，将一个AGI递给人们，而这正是他们想做的事，我本来不会相信的，但现在我理解这个问题了。
Lex：你在那句话中所暗示的，是你们在重大事上取得巨大进展，而大家现在却抱怨或争辩一些小事?
Sam：在总量上，小事就是大事。所以我明白人们为什么争论，也明白为什么这是如此重要的问题。然而，我们却在这些问题上纠结，而不是关注AI对我们未来意味着什么。但你或许会说，这对我们未来意味着什么，这点非常关键。但模型所说的东西，比某个人自身更能展现这个人特点。那么谁来决定这一点，用户如何掌控这一点，也许这确实是重要问题。当我8岁时，我不会想到这一点。
Lex：是的。OpenAI的人，包括你自己，认识到这些问题重要性的人，都应该在AI安全的大旗下展开讨论，你花费多长时间关注安全问题?GPT-4发布时，有哪些安全因素被考虑进去?
Sam：我们2022年夏天，基本结束GPT-4研发工作，立即开始将它分发给红队(OpenAI内部模拟攻击者行为，来测试公司安全系统的团队)的人，开始对它做了许多内部安全评估，开始尝试用不同的方法对齐Alignment(确保AI与人类价值观、道德准则、利益保持一致)它，通过内外部结合的努力，再加上建立许多新的模型对齐Alignment方式等。
我们还远没有完美完成这项工作，但是我关心的一件事是，模型对齐Alignment程度增加速度，要快于模型能力进步的速度，我认为随着时间推移，这将变得越来越重要。
我认为我们在这方面取得进展，GPT-4是我们推出的最具能力、对齐Alignment程度最高的模型，我们能对它进行大量测试，这需要一些时间。我完全明自，当时人们说，立刻给我们GPT-4，但我很高兴我们花了时间对它进行调整。
Lex：你是否在这个过程中获得一些智慧、一些洞察，比如如何解决对齐Alignment问题/一致性问题?
Sam：我认为我们还没有发现如何对齐Alignment超级强大的AI系统，我们有适合当前规模AI系统的方法，叫基于人类反馈的强化学习RLHF，我可以谈下该方法的好处与效果。
RLHF不仅是一种对齐Alignment方式，甚至它并不主要是对齐Alignment方式，它有助打造更好、更易用的系统。实际上，我认为这是AI领域外的人，不太理解的东西。将AI系统的对齐Alignment程度与它的能力，作为正交向量很容易，它们相辅相成，更好的对齐Alignment技术会导致更强的能力，反之亦然。
虽然在有些案例中不是这样，但总体来说，我认为像我们RLHF或可解释性这样的东西，听起来像是对齐Alignment问题，也有助于制作更有能力的模型，而且这个分界线远比人们想象的模糊得多。
某种程度上，我们为使GPT-4更安全、对齐Alignment程度更高而进行的工作，与我们为解决与创建有用、且强大的模型所需的研究与工程工作，看起来非常相似。
Lex：因此RLHF是可以广泛应用于整个系统的技术，我们就是投票的人类?例如，如果有人问ChatGPT，我穿这件裙子胖吗?它有不同的方式回答这个问题，并确保与人类价值观相一致?
Sam：没有一套固定的人类价值观，也没有一套标准答案符合全部的人类文明。所以我认为必须要做的是，在一个社会中，我们需要就在系统内可以做什么事，达成非常广泛的共识。
在这些共识之下，也许不同国家会有不同的RLHF调整方式。当然，个人用户有非常不同的偏好，为此我们使用GPT-4推出叫做系统消息System Message的功能，这不是RLHF，而是让用户对他们想要的AI系统拥有很好可控性的一种方式，我认为这很重要。
Lex：你可以整体描述一下系统信息System Message吗?如何基于用户与它的互动，使GPT-4更具可控性?这是GPT-4非常强大的功能。
Sam：系统消息，就是一种让模型扮演某个角色的方式。比如，请模型扮演莎士比亚来回答问题，或让模型只用JSON格式(一种轻量级数据交换格式)来回复，我们在博客文章里列出一些例子。当然，你也可以想象其他种类的指令。
然后我们对GPT-4进行调整，确保系统消息在整个系统中具有更高的权威性。我相信，不能总是保证模型没有错误行为，但我们会不断进行学习。我们以这样的方式来设计模型，使其学会如何正确处理系统消息。