网易首页 > 网易号 > 正文 申请入驻

LibTV这个邪修功能,大大减少AI视频抽卡次数!

0
分享至


上面这八张灰白图,从左到右分别是《黑客帝国》的子弹时间、《盗梦空间》的旋转走廊、《卧虎藏龙》的竹林、《泰坦尼克号》的船头、迈克尔·杰克逊《Smooth Criminal》的群舞、《闪灵》里丹尼骑三轮车穿走廊、一段街舞、还有一段我自己生成的空翻。

八段视频里的人长什么样、穿什么衣服、什么颜色,全没了。剩下的只有形体、走位,和镜头怎么绕着他们转。

这种图其实只记了一样东西:画面里每个点离镜头有多远,近的亮、远的暗,颜色、材质、脸一概不存。所以它天然就是一段「只有几何、没有外观」的视频。


这是我这两天在LibTV上做的事,用的是他们刚上线的「深度动作捕捉」。而拿到这八张图之后我做的第一件事,是把子弹时间那段的动作,装进了一幅水墨画里。


同一时刻的三帧:左边是原片里基努·里维斯往后仰,中间是提取出来的深度图,右边是生成的成片。白衣剑客的后仰角度、张开的手臂、镜头绕着他转的弧度,跟原片对得上;连横着飞过去的子弹拖尾,都变成了水墨的飞白线条。


我写的提示词是「水墨风格,白衣剑客,竹林,宣纸质感,大面积留白」——一个动作词、一个运镜词都没有。

为什么非得先拆一道

做AI视频的人应该都干过这事:找到一段动作和运镜都合适的参考视频,喂给模型,然后发现AI学走的不只是动作。但这次实测下来,真正卡人的地方比这个更靠前。

我最早想拿一段真人跳舞的免费素材直接当参考,结果生成失败了。


点开节点上的「查看详情」,话说得很清楚:


而同样这段素材提取成深度图之后一路畅通,九次提取九次全过——那张灰白图里已经没有人脸,也没有服装。

至于纯靠提示词描述复杂运镜,我试过很多回,人物走位、镜头环绕、推拉跟拍这些你写得出来但写不准,你脑子里那个画面是有具体角度和节奏的,落差补不上。

完整走一遍

操作路径比我想的简单。把视频拖进LibTV的画布,选中那个视频节点,顶上工具栏会出来一排功能,鼠标移到「逐帧拉片」上,下拉菜单里有一项就是「深度动作捕捉」。


这个菜单是鼠标悬停展开的,不是点击,我第一次找它的时候在工具栏上来回扫了好几遍。

点进去会弹出一个新节点,让你选清晰度,480P或者720P。选完点确认提取,等两分钟左右,深度视频就出现在画布上了,是个独立节点。


然后把这个节点连到下游的视频生成节点上,选模型、写提示词、生成。我这次全程用的Seedance 2.5,8秒,720P。


参考位上那个小方块就是深度视频,下面的提示词框从头到尾只有那五个词。右下角标着这次生成要花427积分——记住这个数,下面那条才有对照。

深度提取不花积分。 我跑了九次一分没扣,意味着同一段素材你可以反复试480P和720P,试错成本是零。

素材长度上,480P能吃三分钟以内的,720P是三十秒以内,做一个镜头够用了。

还有件让我有点意外的事。我顺手去问了画布自带的Agent,想让它替我把这一步跑掉。


它找到了节点、分析完了视频,然后告诉我这不在剪辑引擎的能力范围内,改推荐我用视频转绘或者关键帧提取。

所以这一步现在只有网页上手动点。对习惯把整条流水线交给agent的人来说,这里算是个断点。

直接参考和深度参考,差的到底是什么

为了让两边都能跑通,我先用LibTV生成了一段素材:穿红色运动服的年轻人在空旷体育馆里起跳转体落地,侧面跟拍带环绕。两组只差一个变量,一组直接拿它当参考,另一组先提深度再当参考,提示词、模型、时长、比例、分辨率全都一样。


第一行是原素材,第二行是直接参考,第三行是深度参考。

先说相同的:动作两组都跟上了,起跳、空中横躺、滞空、落地,四个时刻逐帧对得齐,所以「直接参考学不到动作」这说法在Seedance 2.5上并不成立,它学得挺准。

差别在质感。直接参考那组,人物像一个实拍的白衣人被贴在水墨背景前,脸和衣服还是照片的质地;深度参考那组,人物本身就是水墨笔触,落在宣纸底色上,整张画面是一幅画。

原因在前面那句话里:直接参考时模型看得到原视频每一个像素,皮肤的反光、布料的褶皱、顶灯的色温,这些外观信息它没理由不用;而深度图里没有纹理可看,它只能照提示词去造。所以被带走的不是红色运动服,也不是体育馆,是那段素材的拍摄质地。

还有个细节,直接参考那组的第三个时刻画面里莫名多出来一个人,深度参考那组从头到尾只有一个。这两条我只跑了一组对照,算不上定论,你自己试的时候留意一下。

深度图只管怎么动,长什么样得你从零写

这条是我这次最想告诉你的。

我做了个故意打架的实验:深度参考还是子弹时间那段翻滚,提示词我写成「一个人笔直站立不动,双手自然下垂,镜头完全固定不动,写实风格」。

结果前七秒,人老老实实跟着深度图翻滚,最后一秒才站直。动作和运镜这一层,深度参考赢了提示词。

但真正有用的发现在另一半:成片是一段纯黑白剪影。


我提示词里只写了「写实风格」,没给颜色、没给场景、没给材质,模型就顺手把深度图本身的黑白灰当成了画面。

所以这个功能的分工挺清楚:深度图管几何,提示词管外观,而且外观得你从零写满。你少写一样,它就拿灰度顶上一样。回头看我第一次那句「水墨风格,白衣剑客,竹林,宣纸质感,大面积留白」,五个信息点没有一个是多余的。

提一次,可以用很多次

深度节点在画布上是独立存在的,可以往下接多个生成节点。


这是我那张画布现在的样子。左上角是子弹时间原片,往下一个是提出来的深度节点,从它出发的四条线各自接着一次生成:水墨、冲突实验、像素游戏、粘土定格。画面里另外两段没接线的,是同一张画布上的别的素材。


第一行是深度图,往下依次是水墨、16位像素游戏、粘土定格动画。三个时刻的姿态全都对得上,连第三个时刻背景里站着的那个路人,三版都保留着——它带走的不只是主角怎么动,还有画面里有几个人、各自站在哪、谁在前谁在后,这些都是几何。

对做系列内容的人,这个用法比单次生成有价值得多,一段满意的动作可以存成资产反复用。

什么样的素材抽不出来

什么素材好用,其实从那张图记的是远近就能推出来:画面里得有明确的前后差别,而且这个差别得能从明暗上看出来。

回头看开头那八张图,效果最好的是《闪灵》那条走廊,纵深完整,三轮车和人的前后层次分明。


而《泰坦尼克号》那张逆光加海雾,两个人糊成了一团,边缘还有一圈黑色噪声条带;MJ的夜店群舞和《卧虎藏龙》的竹林更明显,背景整片塌成黑色,只剩人物剪影,动作还在,空间信息基本没了。

所以选素材真正该看的不是动作幅度,是明暗里有没有前后关系。 走廊、房间、有纵深的街道最合适;夜戏、逆光、大雾这几种,提出来大概率只剩一个影子。

最后

这两年我们对AI视频提的要求一路往里走:先是画面得好看,然后是人物得长得一致,再然后是镜头得听话。而这个功能干的事,是把一段视频里的几何——人怎么动、站在哪、镜头怎么走——从它的外观里单独抠出来,存成一个能反复用的节点。

它没让模型变得更聪明,只是在素材进模型之前,先把不该看的那部分删干净了。想多控制一点,办法是少给一点,这件事我觉得挺有意思。

功能已经上线,可以直接去试:

https://www.liblib.tv/

特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

Notice: The content above (including the pictures and videos if any) is uploaded and posted by a user of NetEase Hao, which is a social media platform and only provides information storage services.

相关推荐
热点推荐
溥仪弥留之际吐露心声:我一生不亲近婉容,并非厌弃,而是大婚当夜那一眼摧毁了我的尊严,这究竟是何种宿命残缺?

溥仪弥留之际吐露心声:我一生不亲近婉容,并非厌弃,而是大婚当夜那一眼摧毁了我的尊严,这究竟是何种宿命残缺?

唠叨说历史
2026-09-09 15:47:26
9-10月双重督查来袭!中央巡视+国务院暗访,工程国企三红线严查

9-10月双重督查来袭!中央巡视+国务院暗访,工程国企三红线严查

职场资深秘书
2026-09-20 17:03:25
5-1!2-0!中国队手下败将闪耀亚运,两战全胜提前出线,剑指金牌

5-1!2-0!中国队手下败将闪耀亚运,两战全胜提前出线,剑指金牌

绿茵舞着
2026-09-20 00:43:39
中日韩新船订单差距断崖:韩184艘,日仅31艘,中国令人意外

中日韩新船订单差距断崖:韩184艘,日仅31艘,中国令人意外

史之铭
2026-08-08 14:40:17
中国男篮近3年7场惨败!伊朗36岁老将杀人诛心:你们投篮越来越差了

中国男篮近3年7场惨败!伊朗36岁老将杀人诛心:你们投篮越来越差了

新杀猪的秀才
2026-09-20 19:03:10
马季弟子刘伟,力挺郭德纲:他是我亲师弟,他方方面面都非常优秀

马季弟子刘伟,力挺郭德纲:他是我亲师弟,他方方面面都非常优秀

生命之泉的奥秘
2026-09-20 12:32:45
美国、丹麦、格陵兰岛达成一项新协议,知情人:协议设计目的,是既让特朗普能宣布取得成果,同时又满足丹麦、格陵兰继续维持主权的要求

美国、丹麦、格陵兰岛达成一项新协议,知情人:协议设计目的,是既让特朗普能宣布取得成果,同时又满足丹麦、格陵兰继续维持主权的要求

极目新闻
2026-09-20 09:11:03
巴西禁止进口黑奴后,一名庄园主选了个强壮的黑人,给他配了100个老婆

巴西禁止进口黑奴后,一名庄园主选了个强壮的黑人,给他配了100个老婆

言过于诚
2026-09-20 15:43:59
今晚2215!皇马再闯大都会:上季2-5惨败,姆巴佩7场8球冲复仇

今晚2215!皇马再闯大都会:上季2-5惨败,姆巴佩7场8球冲复仇

各生欢喜者
2026-09-20 19:53:52
国产没有添加剂的面粉,这7个牌子值得看看,揉面时闻得到麦香

国产没有添加剂的面粉,这7个牌子值得看看,揉面时闻得到麦香

房产衫哥
2026-09-13 19:53:42
拉菲尼亚:不理解马竞对阿尔瓦雷斯的做法,我有亲身经历

拉菲尼亚:不理解马竞对阿尔瓦雷斯的做法,我有亲身经历

懂球帝
2026-09-19 22:13:08
晚年李作鹏每日无酒肉不欢,接受审查时还要求改善生活,吃肉喝酒?

晚年李作鹏每日无酒肉不欢,接受审查时还要求改善生活,吃肉喝酒?

浔阳咸鱼
2026-09-18 08:06:00
难受了?欧盟低估了中国。9月17日,据英国金融时报消息,欧盟已经正式宣布要求中国自愿限制混合动力车的出口

难受了?欧盟低估了中国。9月17日,据英国金融时报消息,欧盟已经正式宣布要求中国自愿限制混合动力车的出口

扶苏聊历史
2026-09-18 17:09:53
白举纲敦煌婚礼刷屏!娱乐圈最稀缺的爱情:低调守护,岁岁安稳

白举纲敦煌婚礼刷屏!娱乐圈最稀缺的爱情:低调守护,岁岁安稳

传递满满正能量
2026-09-18 06:24:43
伤亡151.8万,俄罗斯为什么那么扛揍?

伤亡151.8万,俄罗斯为什么那么扛揍?

李未熟擒话2
2026-09-20 18:14:16
中国脑出血越来越多,美国却在减少?除了控血压,这6件事也要做

中国脑出血越来越多,美国却在减少?除了控血压,这6件事也要做

牛锅巴小钒
2026-09-17 13:09:53
副部长姬鹏飞酒后失态,总理严厉质问:为何不马上汇报?回去深刻反省

副部长姬鹏飞酒后失态,总理严厉质问:为何不马上汇报?回去深刻反省

香姨谈史
2026-09-19 08:50:18
造型别致!洛瑞雕像在猛龙球馆外揭幕 德罗赞到场

造型别致!洛瑞雕像在猛龙球馆外揭幕 德罗赞到场

体坛周报
2026-09-20 08:19:00
花百元买海螺炖汤,一刀开出稀世粉色孔克珠,上万只海螺才出一颗

花百元买海螺炖汤,一刀开出稀世粉色孔克珠,上万只海螺才出一颗

行者聊官
2026-09-17 08:34:38
13级以上干部待遇起停

13级以上干部待遇起停

起喜电影
2026-09-07 09:42:30
2026-09-20 20:32:49
AI进化论花生 incentive-icons
AI进化论花生
AI博主,AppStore付费榜第一的小猫补光灯app开发者
272文章数 129关注度
往期回顾 全部

科技要闻

谷歌承认:AI模型“黑”进3家公司

头条要闻

"失独"母亲58岁生子60岁再诞一女:希望孩子能有个伴

头条要闻

"失独"母亲58岁生子60岁再诞一女:希望孩子能有个伴

体育要闻

游泳2小时6金!亚运金牌榜:中国11金领跑

娱乐要闻

许嵩刚官宣结婚,冯禧黑历史就被扒

财经要闻

民企土地 被政府"无偿收储"后转手卖7亿

汽车要闻

FREELANDER神行者8开启交付 首批新车正式交付用户

态度原创

本地
健康
旅游
房产
公开课

本地新闻

中秋逛白塔寺,体验国医妙荟雅集

有人倒地抽搐?!是癫痫还是中风?

旅游要闻

2026天下第一泉风景区中秋国庆游园会即将启幕

房产要闻

荒了18年!海口豪宅,要重启了!

公开课

李玫瑾:为什么性格比能力更重要?

无障碍浏览 进入关怀版