英伟达专家如何评价Sora？

1/Sora 是一个数据驱动的物理引擎，它是对许多世界的模拟
2/看似简单的步骤包含了大量的技术和模拟
3/未来它将取代所有手工设计的图形管道。

以下是正文：
如果您认为 OpenAI Sora 是像 DALLE 一样的创意玩具，...再想一想。 Sora 是一个数据驱动的物理引擎。它是对许多世界的模拟，无论是真实的还是幻想的。模拟器通过一些去噪和梯度数学来学习复杂的渲染、"直观"物理、长期推理和语义基础。

如果 Sora 使用虚幻引擎 5 对大量合成数据进行训练，我不会感到惊讶。它必须如此！

我们来分解一下下面的视频。提示："两艘海盗船在一杯咖啡内航行时互相战斗的逼真特写视频。"

- 模拟器实例化了两种精美的3D资产：具有不同装饰的海盗船。 Sora 必须在其潜在空间中隐式地解决文本到 3D 的问题。
- 3D 对象在航行并避开彼此路径时始终保持动画效果。
- 咖啡的流体动力学，甚至是船舶周围形成的泡沫。流体模拟是计算机图形学的一个完整子领域，传统上需要非常复杂的算法和方程。
- 照片写实主义，几乎就像光线追踪渲染一样。
- 模拟器考虑到杯子与海洋相比尺寸较小，并应用移轴摄影来营造"微小"的氛围。
- 场景的语义在现实世界中并不存在，但引擎仍然实现了我们期望的正确物理规则。

接下来：添加更多模式和条件，然后我们就有了一个完整的数据驱动的 UE，它将取代所有手工设计的图形管道。

如果有更高的存在为我们的现实编写模拟代码，我们就可以估计编译后的二进制文件的大小。 Meta AI的Emu Video是6B参数。假设如果 Sora 使用 bfloat16 增大了 10 倍，那么 Creator 的二进制文件可能不会大于 111 GB。

注意事项：
- 实际代码可能要简单得多，因为 Sora 距离 Kolmogorov 复杂度还很远；
- Sora不只是压缩我们的世界，而是压缩所有可能的世界。我们的现实只是 Sora 能够计算的模拟之一；

- 物理世界的某些部分可能在您亲眼目睹之前并不存在。就像您不需要在 UE5 中渲染每个原子来制作逼真的场景一样。

(视频)