清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。最近,国内的视频 AI 们,全都扎堆上线了。。。


这不,智谱的清影 AI 上线还没几天,国内另外一个视频 AI 界的大神, Vidu 也跳出来了,不用排队,免费就能用。


大伙儿应该也都知道,之前 Vidu 一出来,就在小范围火了一波,当时世超还专门给它盘了一篇文章。

清华团队搞出来的国产Sora,还真有点东西。。。


光是来头就能唬住不少人, Vidu 背靠的是清华系团队,他们早在 Sora 之前,就抢先发了一篇把扩散模型和 Transformer 模型融合在一起( Sora 用的也是这个思路 )的论文。


清华团队搞出来的国产Sora,还真有点东西。。。而且因为清华小分队早发了两个月,当年的计算机视觉顶会 CVPR 2023 还以 “ 缺乏创新 ” 的由头,拒了 Sora 的 DiT 论文。


虽说最后, Vidu 的宣传视频出来得晚了些,但效果在彼时的一堆视频 AI 里,还是很扎眼的存在,各种视角、各种场景,好像都能 handle 住。

清华团队搞出来的国产Sora,还真有点东西。。。


所以这次它宣布开放使用后,世超在第一时间就上手了一波。


到底有没有宣传视频里那么厉害,跟咱看看就知道了。


清华团队搞出来的国产Sora,还真有点东西。。。先来试试 Vidu 文字生成视频的效果,这一回合世超拉来了体感还不错的可灵 AI 来做对比。


第一招,我们来测测它们各自对提示词的理解程度,看能不能把所有要素都展示出来。


提示词:

写实风格,镜头慢慢推进,在一个雨天,一对情侣坐在餐厅靠窗的位置吃饭。


Vidu 这边在生成的时候,会贴心给一些影视方面的小百科,而且速度也挺麻溜。

清华团队搞出来的国产Sora,还真有点东西。。。


这颇有电影感的画面,雨天、情侣等要素也挺齐全,唯一的缺点没 get 到提示词里的 “ 吃饭 ” 

清华团队搞出来的国产Sora,还真有点东西。。。


轮到老将可灵 AI 这边,没想到一上来就有点翻车了,照理说它应该挺擅长吃东西的画面,但这次不知道咋了,两个人嘴巴全都变形了,不过要素倒还挺全。

清华团队搞出来的国产Sora,还真有点东西。。。


清华团队搞出来的国产Sora,还真有点东西。。。紧接着,我们又同时给可灵和 Vidu 喂了一组超现实的提示词,考验下视频 AI 厂商们都爱宣传的 “ 电影感 ” 


让它们生成一组 “ 末日时,一名战士破土而出 ” 的画面。

Vidu 生成的效果是这样的,只能说中规中矩,画面的质感一般般,而且也没给战士一个露脸的机会。

清华团队搞出来的国产Sora,还真有点东西。。。

反观可灵 AI 这边,对场景的处理则更加细腻一些,不仅画面的质感、清晰度上去了,连走路会扬起灰尘这种细节,它都能捕捉到。

清华团队搞出来的国产Sora,还真有点东西。。。


清华团队搞出来的国产Sora,还真有点东西。。。除了常规风格外, Vidu 这次还整出来一个专门的 “ 动画风格 ” ,据说效果还不错。那接下来,我们就用这个风格来给它和可灵搭个擂台。

清华团队搞出来的国产Sora,还真有点东西。。。


提示词:

动漫电影风格,从侧面拍摄,镜头聚焦在面部,夜晚,一个长发女人坐在公交车靠窗的位置,眼睛望向窗外不断变化的街景,忽明忽暗的光线打在她的脸上,画面弥漫着孤独感 。


Vidu 这边确实也没让咱失望,这女主角真有点日漫那味了,而且咱也能透过窗户,看到外面一闪而过的景象。

清华团队搞出来的国产Sora,还真有点东西。。。


这波可灵 AI 又开始掉链子了,提示词里面的 “ 动漫电影风格 ” ,它直接给忽略掉了,而且公交车虽然在往前走,但外面的街景的变化有点不太明显。。。

清华团队搞出来的国产Sora,还真有点东西。。。


清华团队搞出来的国产Sora,还真有点东西。。。既然是动漫风格,那肯定少不了测试想象力的环节,考考它们各自是如何处理现实不存在的场景的,比如 “ 小男孩突然化身大橘猫 ” 。


提示词:

宫崎骏画风,一个可爱的小男孩正在跑步,跑着跑着突然变身成一只可爱的大橘猫 


有一说一, Vidu 的效果确实震撼到是世超了,抛开画质这个老毛病,整段视频基本看不出什么破绽,变身的过程也无比丝滑。

至于可灵 AI 嘛,可能类似的场景是真撞到它的枪口上了,看生成的视频,可能它连提示词本身都没太理解。

清华团队搞出来的国产Sora,还真有点东西。。。


清华团队搞出来的国产Sora,还真有点东西。。。而且,世超在试的时候发现,这次的 Vidu 还有市面上能用视频 AI ,都有一个通病,那就是不能理解物理世界规律


像是世超让 Vidu 和可灵生成一段 “ 两只猫咪打乒乓球 ” 的视频,那球可以说是满天乱飞,而且看球也都不像是乒乓球的样子。。。

清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。


有意思的是,世超还用 Vidu 之前宣传里的提示词,原封不动地喂给了它,结果出来的视频,看得人背后是直冒冷气。

不过整体来看, Vidu 的效果还算是可圈可点,最起码在动漫,还有一些涉及到想象力的画面中,表现得还算不错。


清华团队搞出来的国产Sora,还真有点东西。。。除了能文生视频外, Vidu 这波也还新增了图生视频的功能,世超发现,这简直就是恶搞人士的福音( 手动狗头 )。


随便上传一个表情包上去, Vidu 能立马让它动起来,看着效果也都还不错。

清华团队搞出来的国产Sora,还真有点东西。。。


而且我们还可以自己选,是让上传的图片作为第一帧,还是只参考就行了。

清华团队搞出来的国产Sora,还真有点东西。。。


就比如世超上传的一张扎克伯格的图片给 Vidu 参考,再补充点提示词,就可以假装小扎已经站在拳击台上,准备迎战马斯克了。


只不过这人脸有脸参考不到位,就只有上半张脸像小扎。。。

清华团队搞出来的国产Sora,还真有点东西。。。


上传一张马斯克的照片,也能提前帮他实现太空梦。。。

清华团队搞出来的国产Sora,还真有点东西。。。


清华团队搞出来的国产Sora,还真有点东西。。。总之, Vidu 就跟市面上一众能用的视频 AI 差不多,可以生成效果好的视频,有的视频不仔细看,几乎就看不出 AI 的痕迹。


但它的缺点也很明显,不够稳定,视频做不长,这也是这一类 AI 面临的通病了。像是 Vidu 免费用户只能体验到 4s 的视频,就算氪了每月 8 刀的金,最长也只有 8s 。

清华团队搞出来的国产Sora,还真有点东西。。。


不过这也算是视频类AI 的商业化初尝试了,毕竟训练和推理的成本就摆在那里,像是 Adobe 之前,买了 100 个用来训练的视频片段,平均一分钟得花两美元。


而收钱,多少也能帮前期优化、提升模型,分担一点经济上的压力。。。


当然 Vidu 背后的公司生数科技,也不只把所有砝码都压在了视频 AI 上。他们旗下还有专门面向 B 端的各种多模态模型,涵盖了文字、图片和 3D 模型等,游戏制作、影视后期等都是未来的商业化场景。

清华团队搞出来的国产Sora,还真有点东西。。。


之前他们就靠着图片和 3D 模型,攒了好几亿的家底,而且就在上个月月初,生数科技又完成了数亿元的 Pre-A 轮融资,百度也参与领投了。


总的来说,视频 AI 领域是越来越热闹,甚至已经有点当初百模大战的意味了。可以预见的是,未来这些厂商们还会在 AI 视频长度、质量上不断加码。


作为用户的世超,当然也希望厂商们都卷起来。


清华团队搞出来的国产Sora,还真有点东西。。。对了,说句题外话,当初挑起这场 “ 战争 ” 的 Sora ,好像好久都没新消息了。。。

撰文:松鼠   

编辑:江江  

美编:萱萱

图片、资料来源

生数科技,Vidu,可灵



清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。

清华团队搞出来的国产Sora,还真有点东西。。。

本内容观点仅代表发布作者本人观点立场,欣文网平台只做信息内容展示和存储。发布作者:全网转载,转转请注明出处:https://www.xinenw.com/32215.html

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2024年8月3日 14:41
下一篇 2024年8月4日 14:34

相关推荐

  • 杭州“美食荒漠”引争议:该如何破解这波“黑红流量”

    董芳宁 宁夏大学 ——2024年度红网“青椒评论”系列作品 近日,杭州一餐馆内某拍摄团队带剧本抹黑“西湖醋鱼”,被餐馆老板赶走,据老板称,他们连菜都没吃,便按照剧本上“西湖醋鱼真难吃”的设定来拍短剧。诚然,作为店主,遇到这种为了流量而无脑黑的博主,将其赶走是维护业界和杭州美食形象的自然反应。但杭州“美食荒漠”一直以来被网友吐槽也是不争的事实,这不禁让人思考,…

    2024年8月24日
    11400
  • 这届618,“直播一哥”哪去了?

    本文经授权转载自 时代周报 (ID:timeweekly) 作者:叶曼至 6·18大促已拉开序幕,各大平台激战正酣,直播江湖却在悄悄地洗牌。 昔日占据荧屏的初代头部主播,大多姗姗来迟。去年抢跑的辛巴,今年在快手官宣大促5天后才开启直播;疯狂小杨哥专注短剧拍摄,由其徒弟启动预热;罗永浩忙着创业,仅在淘宝和抖音直播间闪现,并未如往年般提前造势。 初代头部主播中,…

    2024年6月1日
    16500
  • 有点慌!字节面试问一个不会一个。。。

    图解学习网站:https://xiaolincoding.com 大家好,我是小林。 字节面试在大厂还是算比较有难度的,问的问题都会比较深,特别是算法,逃不了的,而且有可能一场面试出 2-3 个算法,现场手撕,校招和社招可能都会遇到。 今天来分享一位同学面试字节后端的面经,没有考察语言的内容,主要考察了 mysql、计算机网络、操作系统、kafka、dock…

    2024年6月9日
    19300
  • 从Kabosu离世看虚拟陪伴时代:我们如何面对失去?

    黄惠棋 山西大学 ——2024年度红网“青椒计划”系列作品 5月24日,网红表情包“Doge”的原型、柴犬Kabosu的主人佐藤敦子在社交媒体发文证实,18岁的Kabosu因疾病去世,此前卡波苏被诊断为患有白血病和肝病。佐藤透露,将于5月26日为卡波苏举办告别仪式,邀请所有喜欢它的人参与。(5月24日《南方都市报》) 也许你对Kabosu这一名字并不熟悉,但…

    2024年5月27日
    15900
  • 绝!看这届00后运动员采访真的太爽了,内耗不了一点……

    不得不说,这一届奥运会的中国运动员值得我们关注的点实在太多了,不仅实力强大,他们自信又可爱的精神状态也频频冲上热搜,网友们纷纷感叹中国运动健儿们的精神状态是真的很松弛。 例如,射击运动员盛李豪的微博网名是“光靠干饭就”,在他夺冠后,于是就产生了这样一个词条: 在接受采访的时候表示,感觉对于比赛这件事,自己的教练压力比自己大,因为“自己没啥梦想”。 其实不仅是…

    2024年8月19日
    9300

发表回复

登录后才能评论

联系我们

400-800-8888

在线咨询: QQ交谈

邮件A:xinenw@qq.com

邮箱B:xinenw@163.com

工作时间:周一至周五,8:30-23:30;周六周日10:30-18:30;节假日休息

关注微信