近日，OpenAI 发布的视频生成模型 Sora 成为全球焦点。与以往只能生成几秒钟视频的模型不同，Sora 可生成长达 60 秒的高清视频。
英伟达高级研究科学家 Jim Fan 断言，Sora 是一个数据驱动的物理引擎，是一个可学习的模拟器，或“世界模型”。OpenAI 也声称 Sora 是“扩展视频生成模型是构建物理世界通用模拟器的一条可行之路”。这些说法让很多普通人感到非常恐慌，担心这代表了人工智能已经有能力理解人类真实世界，因此这或许代表着人类末日的开始。
而图灵奖得主 Yann LeCun，作为一位“世界模型”的倡导者，他认为 OpenAI 的 Sora 并不理解物理世界，今天他更是直接说 Sora 对“世界模型”的实现方式，注定是死路一条。
Yann LeCun 火力全开
之前， OpenAI Sora 研发成员 Aditya Ramesh 发布了一个关于一只蚂蚁“在蚁巢内部移动的视角镜头”的视频，但视频里面的蚂蚁只有四条腿。
Yann LeCun 随后对其喊话：“Aditya，蚂蚁难道不是有 6 条腿吗?”“作为曾在我实验室待过的学生，我担保他知道蚂蚁有 6 条腿!”
4 条腿的蚂蚁的确不符合真实世界的实际情况，Yann LeCun 也认为根据提示词生成看似真实的视频绝不代表系统真的理解物理世界。
这样的图像生成跟世界模型的因果预测间仍然存在重大差异。或者说，让视频内容看似合理的空间非常大，视频生成系统只需生成其中“一种”样本即可算作成功。但真实视频的合理连续空间要“小得多”，而且生成其中的代表性图块更是一项极为困难的任务，在涉及各种动作的情况下更是如此。
此外，他还强调，这种连续生成不仅成本高昂，而且完全没有现实意义。
视频请至原文观看
Visualization of Slicing Video Temporal Data — Source: kitasenjudesign
Visualization of Spacetime Patching (Processing) — Credit: OpenAI (Sora)
在今天的推文中，他更是直言 Sora 这种通过生成像素来对真实世界建模“不仅是种浪费，而且注定将要失败”，如同现在已经被基本放弃的“合成分析”技术一样。
Yann LeCun 解释说，几十年前，机器学习领域曾经就生成式方法与判断式分类方法的优劣对比展开过一场大辩论。数学家 Vapnik 等机器学习理论研究者明确反对生成式方法，认为生成模型的训练要比分类模型更困难(从样本复杂性角度出发)。总而言之，整个计算机视觉领域普遍认定像素的生成应该从解释潜在变量入手。毕竟在推理过程中，人类就是在根据观察到的像素推断出反映规律的潜在变量。正确的推理方法还涉及优化部分：比如使用对象的 3D 模型并尝试找到能够重现图像的姿态参数。遗憾的是，这个路子一直没能彻底走通，而且速度非常缓慢。
后来，有些人选择了贝叶斯路线，尝试使用贝叶斯推理来推断潜在变量(例如使用变分近似及/或采样)。非参数贝叶斯与潜在狄利克雷分配都在某种程度上主导过文本建模，有些人开始勇敢尝试借此识别图像中的具体对象。但这同样是一场彻头彻尾的失败!
Yann LeCun 认为，如果现在的目标是训练出用于识别或规划真实世界的模型，那么在像素层面进行预测肯定不是什么好主意。
只能说生成技术恰好适用于文本，因为文本内容属于离散的、数量有限的符号。在这种情况下，预测过程中的不确定性更容易处理。相比之下，对高维连续感官输入中的不确定性进行预测则非常困难。
正因为如此，依靠感官输入的生成模型注定将会失败。
Yann LeCun 认为的更好的办法是什么?
作为人类，我们对周遭世界的了解和大部分知识(特别是在童年时代)主要是依靠观察而来。以牛顿运动定律为例，即使是未经任何引导的幼儿或者小动物，也会在多次触碰并观察之后意识到，一切抛掷的物体终将落向地面。是的，只需一点观察，而非耗费几个小时的指导或者阅读上千本学术著作。我们内心深处的世界模型(基于世界心理模型的情境理解能力)完全可以准确预测结果，而且效率非常高。
所以 Yann LeCun 认为实现“世界模型”的方式，应该是让机器智能像人类般学习、建立起周遭世界的内部模型，从而高效学习、适应并制定计划以完成种种复杂的任务。
这也是他提出的 JEPA(Joint Embedding Predictive Architecture，联合嵌入预测架构)的核心特点所在：它并不是在“生成”，而是在表示空间中进行预测。