
图片由可灵AI生成,提示词为本文标题。
4月15日,钛媒体APP获悉,可灵AI宣布基座模型升级,面向全球正式发布可灵2.0视频生成模型及可图2.0图像生成模型。
可灵是全球首个用户可用的DiT(Diffusion Transformer)视频生成模型,其2.0版本的模型在动态质量、语义响应和画面美学做了相应提升,而可图2.0模型主要集中在指令遵循、电影质感及艺术风格表现等方面。
可灵AI官方披露,截至目前,全球用户规模已经突破2200万,累计生成1.68亿个视频及3.44亿张图片素材。自去年6月上线以来,10个月内,可灵AI的月活用户数量增长25倍。
“去年3、4月的时候,当我在内部看到可灵第一个DiT模型的产出结果时,我心中涌现出一个想法,什么时候我能够用AI把我心目中的《三体》拍摄出来。”快手高级副总裁、社区科学线负责人盖坤在发布会现场表示。
在视频生成方向上,钛媒体APP观察到,可灵AI正在朝着电影工业级美学上演进,然而,当前行业模型发展,远远无法符合这一需求,AI在生成内容的稳定性及用户复杂创意的传达上,仍有很多缺陷。
盖坤发现,各家视频模型都存在一些共性问题,主要来自两方面:一是,语义分析能力问题,创作者们的文字表达,有的时候,AI不能很精准地输出和控制生成结果;二是,动态质量的问题,通常是物体运动过快,或者不符合物理规律。
他认为,必须对基模型能力进行全方位提升。
在2.0模型中,可灵AI提出了AI视频生成的新的交互理念Multi-modal Visual Language(MVL),让用户能够结合图像参考和视频片段等多模态信息,将脑海中包含身份、外观、风格、场景、动作、表情、运镜在内的多维度复杂创意,直接传达给AI。
MVL由TXT(Pure Text,语义骨架)和MMW(Multi-modal-document as a Word,多模态描述子)组成,能从视频生成设定的基础方向,以及精细控制这两个层面,实现AI创作者们的创意表达。
基于MVL理念,可灵AI正式推出多模态编辑功能。据盖坤介绍,MMW(多模态描述子)将不只局限于图片和视频,也可以引入其他模态的信息,例如声音和运动轨迹等。
与此同时,基于MVL这一全新交互方式,可灵AI还发布了可灵2.0大师版,在语义响应、动态质量和画面美学等方面提升生成效果。
可灵2.0大师版升级了视频及图像创作可控生成与编辑能力,上线新的多模态视频编辑功能,能灵活理解用户意图,支持在一段视频的基础之上,通过输入图片或文字,对生成的视频内容实现元素的增加、删减、替换,让创作者可以二次编辑和处理。
据快手副总裁、可灵AI负责人张迪披露,当前,图生视频约占到可灵AI视频创作量的85%,图片质量对视频的生成效果有重要作用。
在图像生成大模型领域,可图2.0的优势体现在复杂语义理解能力,电影级的画面质感,以及多条件的可控风格化生成等。
新升级的可图2.0版本,提升了指令遵循能力、增强电影美学表现力以及更多元的艺术风格。在风格化响应上,可图2.0支持60多种风格化的效果转绘。
同时,可图2.0上线了图像可控编辑功能,即,局部重绘和扩图,支持图片的增加、修改和修复。在图像的多模态可控生成中,可图2.0上线了新的风格转绘功能,用户上传一张图片加上风格描述,能一键切换图片的艺术风格,同时保留原图的语义内容。
除了C端订阅用户,可灵AI面向B端商家提供API接入等服务。盖坤披露,来自世界各地的超过1.5万名开发者,已将可灵的API应用于不同的行业场景中,累计生成的图像数量约1200万个,生成的视频素材超过4000万个。
此外,可灵AI还发布了“可灵AI NextGen 新影像创投计划”,计划加大对AIGC创作者的扶持力度,并通过千万资金投入、全球宣发、IP打造和保障,以全资出品、联合出品和技术支持等合作方式,激发AI爱好者们的创作热情。(本文首发于钛媒体APP,作者|李程程)