姗姗来迟的 Sora,一来就乱杀了

niuniu @ 2024年12月13日 人工智能

反正从昨天晚上折腾到今天,国内外各大媒体疯狂报道,有不少老哥已经把 Sora 生成的视频发到了网上,那叫一个热闹。

可能哥几个也好奇,这个传说中的 Sora 到底有多少斤两,跟国内的视频生成模型相比,谁又会更胜一筹?

本来吧,这个问题世超可以在第一时间替大伙儿解答,会员账号早早就薅到手了。结果谁能想到, Sora 的服务器被挤爆了,现在进都进不去。。。

不过说实在的,光是发布会上对 Sora 具体功能的展示,硬货就够多的了。

所以今天世超就先拿发布会上的 "餐前甜点" ,给大伙儿开开胃,看看 Sora 跟之前咱们体验过的那些视频生成模型到底有啥区别。

首先在产品形态上,世超觉得, Sora 就更接近 一个拥有完整工作流程的生产力工具。

这次发布的 Sora Turbo 支持文字、图片和视频三种生成方式,能够生成最高分辨率 1080p 、时长 20 秒的视频,支持宽屏、竖屏和方形比例。

但这些东西其实都挺常规的,最让世超觉得惊艳的地方,还是 Sora 把 AI 生成的能力融入到了视频创作的每一个环节中。

就比如 Storyboard 故事板功能,大伙儿可以简单理解成,给一段视频添加不同的分镜。

咱直接来看官方的例子,一共 440 帧的视频,前 114 帧的场景 prompt 是 "一片广阔的红色景观,远处停靠着一艘宇宙飞船" 。

接着可以继续发挥想象力,把 114-324 帧的场景变成 "从宇宙飞船内部向外看,一位太空牛仔站在画面中央" 。

最后用 "宇航员眼睛的特写镜头,眼睛被针织面料制成的面罩框柱" 的 prompt ,结束这段视频。

这些 "分镜" 在哪个时间点添加,添加什么内容,都可以由用户自己决定。

而在故事板的基础上,咱们又可以把生成好的视频用 Re-cut ( 在线重新剪辑 )功能,继续调整一波。

这种剪辑,跟咱们理解的这裁一段那剪一截还不太一样。在视频的时间轴上,你可以把不满意的部分都剪掉,剩下来的活儿就可以扔给 Re-cut 功能,让它帮你把空白的地方再重新补全。

这还没完啊。

Sora 还有一个 Remix 功能,那才叫一个酷炫。

用 prompt "毛茸茸的猛犸在沙漠中行走" 生成一段视频,看起来也没啥特别的对吧。

有意思的地方来了,如果你想把视频里的猛犸象给换了,比如换成机器人, ok , Remix 功能就能派上用场了。

硅基生物无痕替换碳基生物,而且从替换后的视频效果里也能看出来,机器人的步态、沙漠背景,几乎没有出现太大的畸变, 画面稳定性和主体一致性整体都在线。

当然这只是官方给的案例,咱们也别太局限,大胆点儿把沙漠变成大海,也不是不行。

另外, Sora 的发布会上还介绍了 Loop ( 循环 )和 Blend ( 视频融合 )两个功能。

一个能让视频实现首尾视频帧的丝滑衔接,让视频一直循环。

还有一个,则是把两个视频无缝合并成一个视频。

怎么个无缝法呢,用雪花飘落和花瓣飘落的视频作为例子,大伙儿一看就明白了。

除此之外, Sora 还有个 Style-Presets 的功能,其实说白了就是换换风格。同样都是两头猛犸象在雪地行走,但你可以把初始版换成黑白电影,或者纸板风和胶片档案风。

相信看到这儿,大伙儿应该多少能品出来, Sora 跟现在市面上很多视频生成应用的区别了吧?

咱没有拉踩的意思,也没有非要分个高下。单纯从客观地角度来说, Sora 已经做到了一个视频生成模型理想状态下,相对完整的产品形态。

生成功能,不过是 Sora 最最基本的一块砖,没有了不行,但由一块块砖搭起来的大厦,肯定会更引人注目。

而之前咱们上手体验到的一些视频生成模型,大多只专注在生成效果这个单一维度上,魔改玩玩还可以,但要当真正的生产力工具,还差点意思。

其次,在最直观的生成效果上, Sora 虽说有瑕疵,但总体上瑕不掩瑜。

看看外网老哥们在 X 上发的视频,世超是真馋了。

先用 Midjourney 生成图片,再把 prompt 喂给 Sora ,这清晰度,这稳定性,老人脸上的皱纹都不带动一下的,还有眼神里透出来的 "严肃和焦虑" ,也让 Sora 悟到了。

prompt :镜头聚焦在茂密茂盛的森林中一位饱经风霜的老人。他的脸上沾满了蓝漆和泥巴,深深的皱纹表明他一生都在荒野中度过。背景是一片模糊的绿色和棕色,捕捉到了未驯化环境的本质。这名男子严肃而焦虑的目光暗示着一种生存、坚韧和与自然的深厚联系,为场景增添了一种神秘感和紧张感。

还有这个金毛冲浪,狗狗重心往下压的时候,冲浪板的方向也在跟着往下,而且水面也因为金毛的这个动作掀起了一阵浪花。

该说不说, Sora 对物理规律的掌握,可比年初的时候好太多了。

等世超能用上了,高低也给咱火锅也安排一次。

不过,也有一些网友用 Sora 跟咱们国内的视频生成应用,对比了一把。

同样的 prompt ,打眼这么一看真看不出来太大差距,非要说的话,就是 Sora 版的头发更柔顺一些。

问题是 KLING 免费就能用。。拿这个视频对比,就显得开 200 美元 / 月 Sora 会员的有点冤种了。

在一些网友的测试里, Sora 生成的视频还会出现手部不够自然的情况。

包括昨晚的发布会上, Sora 也小小翻车了一下。

工作人员输入了 "鹤把头扎进水中,叼起一条小鱼" 的提示词,结果视频中的白鹤,压根就没叼到鱼。

最后,可能是大伙儿不太关注到的一个点, Sora 对 AI 生成的安全性考虑。

之前不是老有人嚷嚷 AI 为祸人间,看图片看视频,现在都分不清到底是人干的还是 AI 生成的了。

所以这次 Sora 生成的视频都带有 C2PA 元数据, C2PA 咱们之前专门写文章唠过,感兴趣的差友可以翻出来看看。 它最大的特点就是可以溯源,内容是谁创作的、历史的修改记录,这些都会被记录下来。

总的来说,这次 Sora 的亮相还是带来了不少惊喜,特别是在产品形态上,视频创作的完整工作流提供了一个更新的视角。

不是我说,国内视频生成下一步要往哪卷,应该有方向了吧。 ( 狗头 )

来源:差评 XPIN