AG视讯百家乐 昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1, 重塑AI短剧行业步地 - ag百家乐下载
ag百家乐下载
ag百家乐下载

AG视讯百家乐 昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1, 重塑AI短剧行业步地

2024-07-05 07:46:23

AG视讯百家乐 昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1, 重塑AI短剧行业步地

2月18日,昆仑万维开源中国首个面向AI短剧创作的视频生成模子SkyReels-V1、中国首个SOTA级别基于视频基座模子的颜料手脚可控算法SkyReels-A1。

开源地址:

§ SkyReels-V1:https://github.com/SkyworkAI/SkyReels-V1

§ SkyReels-A1:https://github.com/SkyworkAI/SkyReels-A1

· SkyReels官方地址:skyreels.ai

1. SkyReels-V1:Human-Centric Video Foundation Model,中国首个面向AI短剧创作的开源视频生成模子

SkyReels-V1可竣事影视级东谈主物微颜料饰演生成,扶植33种紧密东谈主物颜料与400+种当然手脚组合,高度规复真情面感抒发。正如以下视频所示,SkyReels-V1扶植生成大笑、吼怒、诧异、哭泣等微颜料,展现出东谈主物心理丰沛的饰演细节。即使有大幅度肢体手脚,SkyReels-V1生成的微颜料也无缺贴合东谈主物肢体饰演。

同期,SkyReels-V1为AI视频生成带来了电影级光影好意思学,基于好莱坞级的高质料影视数据磨练,现时SkyReels生成的每一帧画面,在构图、演员站位、相机角度等齐具备电影级的质感。不管是单东谈主镜头饰演细节,依然多东谈主构图,现时已具备精确的颜料扫尾和高质感画面。

更遑急的是,SkyReels-V1不仅扶植文生视频,还能扶植图生视频,是开源视频生成模子中参数最大的扶植图生视频的模子之一,在同均分离率下各神色标竣事开源SOTA。

或者竣事这么的SOTA级别,不仅依赖于昆仑万维SkyReels团队基于自研的高质料数据清洗和东谈主工标注管线,构建了千万级的高质料电影电视剧记载片数据。更依托团队自研「Human-Centric」的视频和会多模态大模子,大幅素养视频中东谈主物关连的和会材干,尤其是自研东谈主物智能分解系统。

要而论之,成绩于塌实的数据办事和先进的东谈主物智能分解系统,SkyReels-V1不错竣事:

影视化颜料识别体系:11种针对影视戏剧中的东谈主物颜料和会,如不屑、不耐性、无助、厌恶等颜料的和会;

东谈主物空间位置感知:基于东谈主体三维重建工夫,竣事对视频中多东谈主的空间相对关系和会,助力模子生成影视级东谈主物站位;

行为意图和会:构建跨越400种行为语义单位,竣事对东谈主物行为的精确和会;

饰演场景和会:竣事东谈主物-服装-场景-剧情的关联分析。

SkyReels-V1不仅是全球少许数开源的视频生成模子,依然围绕东谈主物饰演、开源视频生成模子中性能拔尖的。

在自研推理优化框架「SkyReels-Infer」的加握下,大幅素养推理恶果,竣事544p分离率,推理基于单台4090只需80s,还扶植散播式多卡并行,扶植Context Parallel,CFG Parallel,和 VAE Parallel。此外,经受fp8 quantization以及parameter-level offload,知足低显存用户级显卡驱动需求;扶植flash attention、SageAttention,模子编译优化等,进一步优化蔓延;基于开源diffuser库,ag百家乐两个平台对打可以吗素养易用性。

正如下图2所示,在同等RTX4090资源情况下对比(4卡),SkyReels-Infer版块比HunyuanVideo官方版块端到端蔓延减少58.3%(293.3s vs 464.3s);SkyReels-Infer版块具备更鲁棒的部署计策,扶植用户级别显卡1卡-8卡的推理部署。

图2丨推理生成544p视频,使用调换卡数的RTX 4090,SkyReels-Infer版块端到端蔓延优于HunyuanVideo官方(xdit) 58.3%

在同等A800资源情况下对比,SkyReels-Infer版块比HunyuanVideo官方版块端到端蔓延减少14.7%~28.2%(如图3所示),SkyReels-Infer版块具备更鲁棒的多卡部署计策。

图3丨推理生成544p视频,SkyReels-Infer版块具备更鲁棒的多卡部署计策,扶植8卡部署

2.SkyReels-A1:首个SOTA级别的基于视频基座模子的颜料手脚可控算法

为了竣事愈加精确可控的东谈主物视频生成,昆仑万维还开源了SOTA级别的基于视频基座模子的颜料手脚可控算法SkyReels-A1,对标Runway的Act-One,SkyReels-A1扶植视频驱动的电影级颜料捕捉,竣事高保真微颜料规复。或者基于率性东谈主体比例(包括肖像、半身及全身构图)生成高度传神的东谈主物动态视频,其实在感源自对东谈主物颜料变化和心境的精确模拟、皮肤肌理、体魄手脚跟从等多维度细节的深度规复。

SkyReels-A1不仅扶植侧脸的颜料扫尾生成,还能竣事愈加传神的眉眼微颜料生成和更大幅度的头部与当然体魄手脚。SkyReels-A1或者竣事更大幅度的东谈主物颜料驱动。比拟Runway的Act-One,SkyReels-A1不错迁徙更复杂的颜料手脚,生成的东谈主物面部情态不错合作肢体及画面推行竣事更生龙活虎的饰演。

3.以开源之姿,以破局之势,昆仑万维戮力于鞭策全球AI短剧创作生态繁荣发展

昆仑万维一直坚握开源,鞭策工夫平权。昆仑万维同期将SOTA级别的SkyReels-V1和SkyReels-A1进行开源,是AI短剧行业首例,亦然昆仑万维SkyReels回馈行业迈出的一小步,更是促进AI短剧创作和视频生成行业枝繁叶茂的一大步。

咱们坚信在进行推理优化的升级和可控算法的开源后,它们将为用户带来低本钱、可控性更强的AIGC材干。昆仑万维但愿通过更多优秀视频生成模子的开源和极致的AI短剧产物材干,为用户带来低本钱竣事AI短剧创作的可能性、打破行业当今视频生成一致性差的问题,让全球通过我方的电脑生成精细且可控的东谈主物饰演。

这次开源的视频大模子,不仅是一次工夫打破,有助于减轻全球推行产业的数字鸿沟,更是文化产业分娩力的一次立异。改日AG视讯百家乐,短剧与游戏、凭空现实等规模的跨界发展,将会加快产业和会。AI短剧也有但愿从“工夫实验”迈向“主流创作”,成为全球文化输出的新载体。

“竣事通用东谈主工智能,让每个东谈主更好地塑造和抒发自我”是公司的办事,改日,昆仑万维及SkyReels还将开源更多视频生成模子和算法、通用模子,通过开源竣事AGI平权,鞭策AI短剧生态的握续建造和繁荣,促进开源社区、开荒生态以及AI行业的发展。