【浮世汇849】图片只是单帧的视频

【1】@捕猹少年小闰土 

胖东来商贸集团对此次员工"尝面"事件进行了再次复盘，同时从四组处理方案中共同研讨出了2个投票方案。
方案一：员工按照严重违纪解除劳动合同，对其安慰补偿；主管维持原处理结果；火锅档口关停。
方案二：员工降学习期三个月，调离本岗位，转岗为非食品加工岗位；主管维持原处理结果，火锅档口关停。
经过最终投票，民主决议的结果为方案二，涉事员工调整岗位，但得以继续留在胖东来工作。
这波给胖东来

 捕猹少年小闰土:把12页报告都编辑上去了，会议纪要以及民主评审团成员分组讨论发言都有，提现了民主公平，也保障了涉事员工的权益，这波处理真牛 

【2】阑夕 

花了好多时间，把解释Sora运作原理的那几篇论文和第三方分析一点点的啃完，结果发现真就不如OpenAI自己在官方博客里写的一句话：

「图片只是单帧的视频。」

用最简单的词句把最复杂的技术讲清楚，很久没有见到科技行业有着如此从容的公共表达了，于我而言也是醍醐灌顶。

我之所以这几天疯狂补课，是因为想要找到自己之前提问的答案：OpenAI是怎么实现断层式领先的？

领先不意外，意外的是断层之大，完全超出了均值分布的常识，不可能天下英雄都在OpenAI那儿吧，补完那些材料才发现，就跟GPT主要建立在Transformer的暴力美学之上一样，OpenAI现在就认准了一个力大砖飞，既然Transformer好用，那就他妈的用到底，到了和文本毫无关系的扩散模型领域也继续套圈，最后采用了一个和Runway和Pika完全不同的Diffusion Transformer方案。

可能只有长期使用过Runway或者Pika的人才会对Sora的横空出世感到彻底震惊，这完全脱离了渐进式积累的规律，人家还在3秒3秒的往上加，你出来就是60秒连续性的能力，这要怎么玩嘛？

Sora的这些演示出来之前，AI生成视频经常被嘲讽「那不叫视频，充其量只能算动图」，也真的没办法反驳，因为事实就是如此，甚至运动笔刷稍微圈大一点，画面变形就必然产生了，绝大多数的展示作品都是靠烟雾、光影这种没有固定形体的动效取巧，实现镜头的运动感。

哪怕是需要大量训练的开源的SVD——效果相对最好——前几天本来也更新了1.1版本，结果正好跟Sora撞车，然后SVD官推直接把推文给删了，删了⋯⋯

就说这要别人怎么玩啦？

回到「图片只是单帧的视频」这个点，本来主流的方案都是基于一张图片去让AI发挥想象空间，继而延伸/填补出多个图片，叠加在一起才成了视频，大家的竞争方向都是谁的AI视觉能力更有效率，可以理解并创造用户要的内容。

但在Sora眼里，其实是没有——或者说极大弱化了——图片概念的，Transformer本身就是文本模型，强在前后文的理解和保持连续性，没有多少人意识到文本模型还能用在视频上，但OpenAI发现完全可以利用Transformer的编码能力，配合扩散模型去为视频「配锚」。

顺便说一句，Sora基于的论文，又有好几篇都是来自谷歌的贡献，甚至根据@宝玉xp的考证，是谷歌的论文发表之后，Sora这个项目才启动的⋯⋯

「Attention Is All You Need」的历史重演了啊这是

继续来说吧，「图片只是单帧的视频」这个思路的缺点是什么，是画面精度不太够，就像和Midjourney比起来，DALLE-3的图片都显得很「土」。

问题在于，AI视频现在根本还没有到追求美观性和艺术性的地步，所有公司都挤在AI根本不懂图片里各个元素运动逻辑的瓶颈里出不来，就好比说，在饥荒年代推销减肥药，是毫无意义的，不是肥胖不值得重视，而是市场需求不在这里。

Sora的视频目前来看走的也是还原路线，尽可能的复现指令，但不会过多关照审美，而是对视频内容所处的时空关系做出准确判断，确保AI知道自己在构建什么。

所以已经有很多内测用户发现了，Sora在时间轴上的延伸性非常出色，就像我转来的这个演示（图2），你可以生成开头不同但结尾完全一致的视频片段，这就是「图片只是单帧的视频」的绝妙之处，图片的创建绝不会脱离于时间轴而存在，Sora实际上是提前给视频写了脚本的，这个脚本甚至也和用户的Prompt无关，是由AI自己的构图思维决定的。

四两拨千斤，太高明了。

补课的过程里，我也看到一个做大模型的老哥提前预测到了Sora这条技术路线的合理性，他在1月就发了这一条推文：

I think the transformer framework and LLM route will be a breakthrough and new paradigm for AI videos to be more coherent, consistent, and a little bit longer. The current diffusion + Unet route (the likes of Runway, Pika etc) is only a temporary solution.
* 我认为Transformer框架和LLM路线将是AI视频更加连贯、一致、更长一点的突破和新范式。目前的扩散+Unet路线（如Runway、Pika等）只是一个临时解决方案。

怎么说呢，虽然在夸赞OpenAI的时候，觉得大力出奇迹的价值很高，但是看到Runway和Pika们在闭塞的路线里使劲浑身解数，总还是隐约感觉到，如果方向错了，越是辛苦反而越是损失⋯⋯

当然也希望Diffusion Model能够实现突破打脸回来吧，OpenAI太顺了不是什么好事啊，多上点压力，求求了，这AGI还没有到来的破日子，是一天都过不下去了！

【3】@宝玉xp 

一篇专业的驳斥 Sora 懂物理引擎说法的推文。
其中提到像 Sora 这样的 Diffusion Transformer，底层是基于机器学习的随机梯度下降加上反向传播（SGD + backpropagation），这就意味着 Sora 是没有逻辑推理能力的，本质上也是将训练的数据压缩成模型的权重，在训练过程中，不断更新参数，从而让预测的时候误差降到最小。
就好比🪰找💩，总是朝着气味最浓的方向去寻找，就像梯度下降算法根据梯度的方向更新参数，以逐步接近损失函数的最小值。
基于这样的模式，是无法学会物理规律的，就好比将所有行星运动的数据拿来训练，也无法推导出广义相对论。
之前 Hongcheng 说过类似的观点（网页链接 ）：
"模型不大可能通过被动看训练数据视频就能掌握物理定律。再聪明的智能体也不大可能通过看太阳东升西落的视频悟出地球围着太阳转。人类看了几千年苹果掉到地上，直到牛顿的时代才积累了足够的物理知识加上主动实验才发现了引力。"
以及 fin 的观点（网页链接）：
"就是人做梦的原理一模一样，不懂物理的古人做梦时候也是日有所思也有所想，或者是小猴子做梦的时候，就是把自己的所见拟合在了一起，不懂光线的反射也能有也许奇异但部分符合所见的世界
LLM本质上就是一个dreaming machine，用各种提示词制造符合逻辑或者不符合逻辑的梦"
具体建议参阅原推，完整内容转译如下：
***
让我们来看看OpenAI的Sora被誉为数据驱动物理引擎这一说法有多么荒谬：
这就好比是收集了行星运动的数据，将其喂给一个预测行星将出现位置的模型，然后得出这个模型内部实现了广义相对论的结论。
爱因斯坦花费多年时间才推导出重力理论的方程。如果有人认为随机梯度下降加上反向传播（SGD + backpropagation）就像一个小爱因斯坦在模型训练过程中解决问题，那这个人对于机器学习的理解显然是有待商榷的。
不论你拥有什么学位，如果你认为SGD加上反向传播就能使模型像小爱因斯坦一样，仅凭输入输出对就能理解一切，那你对机器学习的工作方式了解不够。
爱因斯坦在理论推导中不得不对现实做出多项假设，比如光速恒定，时空是可以弯曲的，然后他推导出了微分方程，其解答揭示了黑洞、引力波等重大发现。
他运用因果推理将不同的概念连接起来。
然而SGD加上反向传播并不进行这样的推理。它只是简单地将信息压缩成模型的权重，并不进行逻辑推理，只是按照某种规则更新参数，以达到最小误差的配置。
机器学习（ML）的统计学习过程可能会陷入所谓的低误差"盆地"，这意味着它无法探索新的概念或理论，因为一旦陷入这些低误差区域或局部最小值，就难以重新开始探索。
因此，SGD加上反向传播往往会找到那些似乎有效但实际上非常脆弱的解决方案，这些解决方案在一定条件下看似工作正常，但很容易崩溃。
这也是为什么深度学习系统在实际应用中既不可靠又难以训练的原因。你必须不断地更新和重新训练它们，这在现实操作中是非常繁琐的。
梯度下降的过程可以比作一只苍蝇寻找气味源头的过程：苍蝇会沿着空气中化学物质浓度梯度向下移动，从而找到气味的来源。但如果它仅依赖这种方式，很容易就会迷路或陷入困境。
在机器学习中，模型的可调参数就是"苍蝇"，训练数据就是气味的来源，而通过目标函数测量的误差就是"气味"。模型的权重调整的目的是为了向着"气味"（这里指低误差，相当于浓郁的气味）移动。
认为一个机器学习模型仅通过训练行星运动的视频就能内部学习到广义相对论，这种想法更是荒谬。
这完全是对机器学习工作原理的一种误解。
推文链接：网页链接
***
类似的还有这篇：
网页链接
直接转译一下：
自2016年起，视频生成模型和神经辐射场（Neural Radiance Fields）持续进步，现已成为研究热点。因此，这些系统是否蕴含了物理模型成为了广泛讨论的话题。我们来探讨一下...
这类系统能预测给定物理场景下一帧的视觉变化，因此，它们确实包含了一种物理模型。
关键的问题是，这种模型的准确性如何？它是否能够推广到模型未经训练的新奇情形，而不仅是简单的插值？
这不仅仅是理论上的问题。它们标志着两种截然不同的可能性。在一种可能中，生成的图像仅限于媒体生产，供人观赏。它们虽然看起来真实，但并不代表真实世界的样貌。而在另一种可能中，生成的图像可以作为现实的模拟，用于可靠地预测世界和未来，成为科学研究的工具。
比如，你制作了一个视频，视频中咖啡杯里有一艘海盗船。模型因为接受过海盗船、大海和咖啡杯的训练，所以能够将这些元素进行潜在空间的拼接，生成一个"匹配"的视频。
但视频中的波浪，真的能反映出在这种情况下水的实际行为吗？包括船体形状、船只对水的置换量，以及周围咖啡杯对波浪的影响？
还是说，这不过是一个幻想的拼接作品？
这个问题的答案并非一开始就很明显。
确实，这些模型是基于大量数据训练的复杂算法。我们知道，这样的模型仅能在局部范围内进行推广，因此无法处理完全新奇的情境。但是...
...许多现实世界的现象都可以通过复杂的算法模型来完整描述。物理学亦是如此。
物理学的多样性并不是无限的。物理学可以通过一组紧凑的公式来完全描述。比如，流体动力学就是由几个简单的方程组成！那么，为什么不可能呢？我们不能仅凭先验就排除这种可能性，关键是要看实际的证据（查看证据总是必要的）。
随着Sora项目的进展，我们快速积累了证据。现在我们已经在大规模上运作，而随着新模型的推出，证据积累的速度将更快。
到目前为止的证据明确表明——我们看到的确实是基于潜在空间的拼接和插值作品。这些内置的物理模型根本无法推广到新的情况。这不仅意味着它们不能作为流体动力学模拟器来设计新型飞机，或作为重力模拟器来设计新的弹珠轨道...
它们甚至未能捕捉到如物体持久性这样最基本的视觉现实原理，这是任何两岁儿童都能掌握的。
但我们能否改进它呢？当然可以。你需要做的是增加输入和目标之间空间采样的密度。你需要在更多的数据上进行训练，大量的数据。
这会在特定情况下提高现实感——即那些你新采样的情境。但这并不能解决根本的泛化问题。
关键的启示是，模拟世界并不等同于在插值潜在空间中嵌入观测数据。
值得注意的是，你仍可以使用复杂的算法模型来进行物理预测，尤其是对于那些难以模拟的系统（例如，天气）。但为了实现这一点，你需要将自己限制在特定的子空间内，其中：
1. 未来将与过去相似（稳定状态）。
2. 可以用曲线表示——即流形假设适用。
3. 能够收集到密集的训练数据样本。
在许多领域，这些条件是可以满足的。但对于"视觉世界"而言，这通常是不可行的。我们需要一种不同的模型。
你可以使用复杂算法模型来预测天气吗？是的，借助大量数据，我们已经在做这个了！
用来创建风洞模拟器吗？可以，前提是你能够固定尽可能多的参数，并且能够为变化的参数（如粘度）收集到密集的训练数据。
或者用来预测太阳活动？也许可行！
但你不能简单地将一个复杂算法模型应用于UE5屏幕截图和YouTube视频，然后期望它能泛化成一个实际世界的模型。这不是这些模型的工作方式。

【4】@洛杉矶的小麦 

【5】@马伯庸 

#马书账# 最近在看瓦西里格罗斯曼《生活与命运》，这一段描写斯大林格勒保卫战一隅夜战的文字，写得实在太好了，字里行间仿佛流动着电流，令人浑身颤栗。作者在二战期间是《红星报》的战地记者，亲历了从莫斯科保卫战到柏林几乎全部战役，所以他笔下的战场描写，不需要文采矫饰，天然具有雪、火交织的真实质感，尤其对夜战中一个士兵的心态描摹，没有经历过的人，写不到如此细致刻骨，甚至还带有哲学思辨以及圣诗一般的咏叹节奏。
让我想起了《战争风云》的作者赫尔曼沃克。两位一东一西，都是二战亲历者，都写出了史诗般的二战名著，皆承托翁《战争与和平》一脉。比起赫尔曼沃克，格罗斯曼自己的战后经历，也值得写一部小说。

ps：我顺手查了一下，发现赫尔曼沃克居然在2019年才去世，享年103岁。

【6】纪录片《20 ᴅᴀʏs ɪɴ ᴍᴀʀɪᴜᴘᴏʟ⁣》导演Mstyslav Chernov获得美国导演工会奖"最佳纪录片导演"的殊荣，他出席颁奖典礼接受奖项时发表了以下的感言：

"我的家乡被轰炸。七个人丧生，其中三个是孩童，那是个悲伤的日子。而在那天，我重新体认到了电影的力量。因为当人们、孩子们逃离炸弹时，他们会去地下室。为了对抗恐惧，他们会看电影。电影不仅为历史和下个世代留下故事。它也帮助我们去对抗这个有时难以忍受、不公平的世界。"

【7】Sora的视频拼接能力真是太有趣了！简直神奇！

除了文生视频能力，Sora还能实现两个视频之间的平滑转换/过渡变换。OpenAI官方称之为"连接视频"（Connecting videos），它能够在两个输入视频之间实现渐进插补（gradually interpolate）。能够在 主题和场景构成 都完全不同的视频之间，生成一种无缝转换的效果。

从几个测试视频的结果（➡️ 见【视频1 ~ 5 】 ）来看，效果往往都非常神奇、梦幻！仿佛是梦中的一些画面。

相应的【拼接之前的 原视频】（也都由Sora生成）见视频6~9，数量放不下，所以我做了下"硬"拼接 —— 视频6是视频1的【两个原视频】，视频7是视频2的，视频8是视频3的，视频9是视频4、5的原视频。

可以尝试想一下，如果是你，只拿到了相应的原视频，让你发挥想象力，仅仅是要实现从A视频过渡到B视频的方案，应该都是要好好构思一阵子的（都暂且不考虑技术上"实现"的时间和成本）。

如今，Sora可以基于它的模型能力，直接完成"方案构思"+"技术实现"，真的是用"强大"、"炸裂"已经完全不足以形容的一种震撼。 

链接：https://weibo.com/1992769421/O0UWCFDGX 

【8】@肥啾电影 

【9】王小帅：中国一步一步走到今天，发生了这么多事情，不管是在文献里，还是在纪录片里，在任何形式，它的存在都非常重要，但很多人都遗忘和淡忘了。如果能够有任何一种形式的留存，人们可以随时看到，就可以随时提醒他们：我们曾经走过这些路。我觉得这是真正对中国未来的发展有好处的，我们不能够罔顾一些曾经发生的事情，好像蒙着眼睛就看不见、去掩耳盗铃，这是不好的。

【10】#诺兰奥本海默剧本留言#诺兰坐飞机到都柏林亲自为基里安·墨菲送去的《奥本海默》剧本的首页写着：

"最亲爱的基里安，这次终于有机会看你主演了。爱你的克里斯。"