SkyReels

定义

SkyReels是昆仑万维旗下的一套AI视频创作产品体系,既指面向用户的AI视频创作平台,也指支撑该平台的自研多模态视频生成模型系列^[1]。模型侧,平台同时接入Google Veo 3.1、Sora 2、Runway、Nano Banana、GPT Image、Seedream 4.0等外部模型与自研的SkyReels V3等模型;功能侧,提供图片生成、视频生成、数字人、音乐生成等多种AI创作方式^[4]。

模型系列方面,SkyReels-V1、SkyReels-V2、SkyReels-V3等版本由昆仑万维陆续发布并开源,其中V1面向AI短剧创作,V2采用扩散强迫框架,V3支持参考图像转视频、视频延长和音频驱动虚拟形象三类能力^[5]。平台被昆仑万维定位为「All in AGI与AIGC」战略的组成部分^[1]。

原理

SkyReels自研模型以多模态扩散Transformer为基础架构。SkyReels V3系列模型统一基于同一个多模态上下文学习(Multi-modal In Context Learning)框架预训练,再针对子任务做微调适配,从而实现基于图片参考、音频参考和视频参考的视频生成^[1]。在多参考图生视频任务中,模型可接受1至4张包括人物、物体和背景的参考图,结合文本指令生成保持主体一致性与构图连贯性的视频序列^[6]。

SkyReels-V2则引入扩散强迫(Diffusion-forcing)框架,通过非递减噪声时间表缩小连续帧去噪时间表的搜索空间,使模型能够生成时长更长的视频^[7]。为提升提示词遵循能力,团队还训练了影视级视频理解模型SkyCaptioner-V1,并把一般描述与镜头语言结合起来构成结构化视频表示^[8]。

SkyReels V4采用双流多模态扩散Transformer(MMDiT)架构,视频与音频两条分支共享同一个基于多模态大语言模型的文本编码器,其中一路生成画面、另一路生成时间对齐的音频^[9]。该模型通过通道拼接的方式把生成、修复与编辑等任务统一到单一接口下,并采用「低分辨率全序列加高分辨率关键帧」的联合生成策略,再配合超分辨率与帧插值模块重构高质量视频,以降低高分辨率长视频的算力开销^[9]。

发展历程

2024年8月,SkyReels作为AI短剧创作平台上线,目标是用AI降低线上拍剧的门槛,应对剧本创作、选角、布景、分镜、拍摄与后期等环节耗时耗力的问题^[10]。2025年2月18日,昆仑万维开源SkyReels-V1与表情动作可控算法SkyReels-A1,V1被团队称为中国首个面向AI短剧创作的视频生成模型,在千万级影视数据上微调,支持文生视频与图生视频^[11]。

2025年4月21日,SkyReels团队发布并开源SkyReels-V2,称其为全球首个使用扩散强迫框架的无限时长电影生成模型,当时已支持生成30秒、40秒的视频,并开源了1.3B、5B、14B等不同尺寸的模型^[12]。2025年11月4日,焕新后的SkyReels平台正式上线,Web端与移动端应用同步推出,SkyReels V3模型及无限画布、数字人、视频模板、专家Agent、视频延长与风格化等功能一并更新^[13]。

2026年1月29日,Skywork AI开源自研视频生成模型SkyReels-V3,该系列支持参考图像转视频、视频延长和音频驱动虚拟形象三大核心能力^[5]。2026年2月27日,昆仑万维发布多模态视频基础模型SkyReels V4^[14]。2026年3月19日,SkyReels V4在Artificial Analysis的Text to Video(With Audio)赛道位列全球第一,并同步开放API能力^[3]。到2026年5月,昆仑万维已推出SkyReels-V1至V4多个版本,系列开源模型在HuggingFace的累计下载量约30万次、GitHub stars累计超过1万^[15]。

应用

SkyReels平台面向媒体、市场营销、电商推广、教育宣传等创意需求较大的领域,提供从图片、视频到数字人和音乐的一站式生成能力^[1]。在影视与短剧方向,自研模型侧重人物表演相关的生成能力,V1支持33种人物表情与400余种自然动作组合,可生成大笑、怒吼、惊讶、哭泣等微表情^[16]。V3的参考图生视频能力也被用于视频制作、社交媒体娱乐、直播电商和产品演示等场景^[17]。

在产业落地方面,昆仑万维将SkyReels-V4用于短剧的剧本、拍摄、剪辑到全球分发流程,并推出整合SkyReels、Seedance、可灵等模型的短剧工作台,构建「剧本直达成片」的生产流程^[18]。开发者侧,SkyReels V4开放API,覆盖文生视频、图生视频、多模态参考生成、视频编辑与修复、音画联合生成等能力,供内容平台、电商平台、教育机构和创作团队按需调用^[3]。

局限

时长与分辨率是SkyReels自研模型的主要约束。SkyReels V4支持最高1080p、32 FPS、15秒的音视频同步生成,官方论文也把15秒的最长时长列为当前限制,并指出推理仍属算力密集,两阶段的低分辨率与高分辨率流程可能不利于实时部署^[9]。第三方评测提到,超过15秒的叙事内容需要分段生成再拼接,而拼接处会出现色彩偏移、背景漂移和主体细节的细微变化^[19]。

画面层面的不足集中在物理合理性与文字渲染。评测者观察到,生成内容中的物体运动缺少重量感与立体感,复杂场景容易显得扁平;即使提供清晰的图片参考,画面内的标志、标签和产品文字也常出现模糊或变形,需要转到后期软件中叠加^[20]。此外,V4相对早期版本收窄了功能范围,已不再提供V2、V3中的AI虚拟形象工具^[20]。

访问与部署成熟度也存在阶段性限制。评测指出,相关访问较多依赖邀请机制,高峰时段会出现排队,API 相比网页界面仍处早期;同时未见面向生产环境的自托管方案,此类规模的模型通常需要多GPU配置才能以可接受速度运行^[19]。在更早的版本上,团队把提示词遵循、视觉质量、运动动态与视频时长难以兼顾,以及通用多模态大语言模型对镜头语法理解不足,列为需要突破的技术难点^[8]。

参见

• 昆仑万维 —— SkyReels的研发方与所属公司。

• 扩散模型 —— SkyReels系列视频生成模型所依赖的基础生成范式。

• 多模态大语言模型 —— SkyReels V4双流架构中共享的文本编码基础。

• 文生视频 —— SkyReels提供的基础生成能力之一。

• 数字人 —— SkyReels V3支持的音频驱动虚拟形象能力。

• 开源 —— SkyReels-V1、V2、V3等模型采用的发布方式。