0°

OpenAI没有黑魔法成功的秘诀,全靠坚信一条原则

  人工智能AI课堂:penAI没有黑魔法,成功的秘诀全靠坚信一条原则。

  penAI的Sora在多模态上取得了巨大的成功,GPT在语言方面也有所突破,可以说基本跑完了AI的大部分技术栈。到底是什么原因?如果说是人、钱、算力,其他公司也并非做不到。而现在的道路是否正确,也许需要等到AGI实现的那一天。

  回头看,也许OpenAI曾经将大家带入了误区,甚至AI可能会在某个节点再次陷入困境。当初大家讨论GPT-4时,普遍认为OpenAI没有什么秘诀,和大家走的是一样的路,都是基于Transformers和大力出奇迹。

  但是OpenAI的成功之处在于,他们坚持走一条路:大一统的Transformer。即便是最新发布的Sora,基础依然是Transformer,没有改变。他们自己在技术文档上都直接表示了,它就是像训练大语言模型一样训练视频模型,将视频压缩成patch交给Transformer,然后使用Diffusion生成。

  这种方法简单到投稿都会被拒,但这并不能完全解释OpenAI的成功。毕竟Transformer2017年出自谷歌,也被广泛应用。为什么其他人没有做出来?答案应该是Scaling Law,也就是缩放定律。它的意思是投入更多的数据,更大的算力,更大的模型就一定会更强大。

  因此,有一种看法是,就像GPT-4一样,Transformer的成功依然可以用四个字来形容:大,可以出奇迹。如果一定要比较Transformer和Scaling Law的重要性,大概可以认为Transformer是OpenAI的表现形式,Scaling Law几乎可以被称为底层逻辑。也就是说,大胆地投入数据和算力,就能看到涌现。

0 条回复 A 作者 M 管理员
    所有的伟大,都源于一个勇敢的开始!
欢迎您,新朋友,感谢参与互动!欢迎您 {{author}},您在本站有{{commentsCount}}条评论