![](http://www.openaimy.com/wp-content/uploads/2023/07/0b1fe354ea1b76cc870af8d5a90c9305.jpg)
随着chatgpt、midjourney等热门ai技术应用的出圈。AIGC已成为提升人类生产效率的重要工具,但与此同时,关于Aigc的道德和监管问题也越来越引起业内技术人员的重视。
7月5日Openai正式宣布成立一个新的研究团队 ——Superalignment 团队,由 OpenAI 联合创始人 Ilya Sutskever 和 Jan Leike 共同领导。值得注意的是,这个团队的主要任务是构建一个与人类水平相当的、负责模型矫正的「AI 研究员」。也就是说,OpenAI 要用 AI 来监督 AI。
![](http://www.openaimy.com/wp-content/uploads/2023/07/68dafc62f2eec5f3238333f528c5ed82.jpg)
OpenAI CEO Sam Altman 和 OpenAI 联合创始人 Ilya Sutskever
![](http://www.openaimy.com/wp-content/uploads/2023/07/8d68c2af0416638b62f1c6d36e02d358.jpg)
Openai 认为:人工智能技术正在飞速发展,影响全人类的超级智能(Superintelligence)看似遥远,但极有可能在十年内到来。超级智能将是人类发明的最具影响力的技术,可以帮助我们解决世界上许多最重要的问题。但超级智能的巨大力量也可能非常危险,并可能导致人类丧失权力,甚至导致人类灭绝。
管控这些风险需要建立新的管控机构,并解决 AI 模型的矫正问题。一个显著的问题是:超级智能可能比人类更聪明,如何能让如此强大的 AI 系统遵循人类的意愿?
目前,Openai还没有一个解决方案来引导或控制潜在的超级人工智能,并防止其失控。Openai当前矫正人工智能的技术,例如根据人类反馈进行强化学习,依赖于人类监督人工智能的能力。但人类无法可靠地监督比我们聪明得多的人工智能系统,其他假设在未来也可能被打破,比如部署期间有利的泛化属性,或者我们的模型在训练期间无法成功检测和破坏监督。因此目前的矫正技术无法扩展到超级智能,需要重新研发。
Openai的目标是建立一个大致达到人类水平的自动矫正研究人员。然后,可以使用大量计算来扩展工作,并迭代地调整超级智能。
1)开发一个可扩展的训练方法:
利用人工智能系统来协助评估其他人工智能系统,并将 AI 模型的监督能力泛化到人类无法监督的任务上。
2)验证系统:
为了验证系统的一致性,开发过程中会自动搜索有问题的行为(稳健性)和有问题的内部结构(可解释性)。
3)对整个对齐管道进行压力测试:
最后,使用未对齐的模型来测试整个流程,确保所提方法可以检测到最严重的未对齐类型(对抗性测试)。