JN江南·体育下载让林黛玉喝咖啡、马斯克拍合影!视频大模型Vidu首发新功能:锁

作者:小编    发布时间:2024-09-13 12:18:29    浏览:

[返回]

  JN江南·体育下载让林黛玉喝咖啡、马斯克拍合影!视频大模型Vidu首发新功能:锁定角色形象任意生成场景用户上传任意主体的照片,Vidu 就能锁定这一主体的形象,根据输入的描述词任意切换场景,输出主体一致的视频。主体可以是人物、动物、商品、动画角色、虚构角色。

  如果使用以前的「角色一致性」功能,可以保持人物面部特征的一致性,但难以保证整体形象的稳定,因此生成的画面是林黛玉穿着现代装喝咖啡。

  而 Vidu 的「主体参照」功能不仅能保持面部一致,也能保持人物整体形象的高度一致,根据输入的文字描述来灵活输出目标场景,因此可以生成保留原图形象的林黛玉在现代场景中喝咖啡的视频,画面效果自然、真实,角色造型高度一致。

  Vidu 是全球首个支持这项能力的视频大模型。「主体参照」功能能够实现对任意主体的一致性生成,让视频生成更加稳定、可控。该功能已面向用户免费开放,注册即可体验。

  今年 4 月底,由生数科技和清华大合研发的国内首个纯自研原创视频大模型 Vidu 面向全球发布。7 月底正式上线后,Vidu 凭借在高动态性JN江南体育、精确语义理解、动漫风格、快速推理等方面的亮点,产品表现位列全球视频大模型的 第一梯队 ,并在 TikTok 等海外社交媒体平台上掀起多种 AI 视频主题玩法的热潮,如 跨越时空的拥抱 等。

  生数科技联合创始人兼 CEO 唐家渝说,几乎全球做动漫视频都会首选 Vidu,因为它在整体流畅度、自然度等方面显著领先,而且视频生成速度快,30 秒内就能生成单个片段。

  打造 Vidu 的生数科技成立于 2023 年 3 月,目前团队规模逾 100 人,已完成数亿元融资(最新公开为 Pre-A 轮),投资方包括启明创投、北京人工智能产业投资基金、蚂蚁集团、百度、达泰资本、BV 百度风投、哈勃投资、锦秋基金等知名机构JN江南体育

  今日生数科技还推出了合作伙伴计划,邀请广告、影视、动漫、游戏等行业的机构加入,共同探索新的视频创作模式,在内容共创、技术支持、市场拓展等方面展开合作。

  首批合作伙伴包括开心麻花、猫眼娱乐、巨人网络、美克家居、融创文化、河南省非物质文化遗产保护和智慧中心、李可柒画院等知名企业与机构。

  生数科技今日推出「主体参照」的功能,是视频生成领域的一大创新,可基于一张任意主体的图片,根据描述词切换场景,输出主体一致的视频。

  进行人物角色的 主体参照 ,无论是真实人物还是虚构角色,Vidu 都能保持其在不同环境中、不同镜头下的形象连贯一致。

  此前视频大模型已有的「图生视频」、「角色一致性」等能力在生成效果上存在明显不足,比如图生视频基于首帧画面的连续生成,无法直接输出目标场景,限制了视频内容的多样性和场景的自由度;角色一致性只限于人物面部特征的一致性,难以保证人物整体形象的稳定。

  相比之下,「主体参照」不局限于人物,面向任意主体,在人物主体下可选择保持面部一致,也可选择保持人物整体形象的高度一致,通过输入文字描述灵活输出目标场景。

  在实际视频创作中,视频内容往往围绕特定的对象展开,可以是角色或特定物体,这些对象在视频中的形象需要保持连续一致。

  现有的视频模型往往难以实现这一点,常常是主体在生成过程中容易崩坏。生成视频连续性弱,无法保证每次生成视频时主题、场景、风格等的一致性,尤其涉及复杂交互的情况下尤为明显。

  此外,视频模型的输出结果有较大的随机性,需要不断生成尝试,对于镜头运用、光影效果等细节的控制也不够精细准确。

  所以现阶段的视频模型虽然在画面表现力、物理规律、想象力等方面取得一定突破,但可控性不足限制了它们在创作连贯、完整视频内容方面的应用。目前大多数的 AI 视频内容还是基于独立视频素材的拼接,情节的连贯性不足。

  为了解决这一问题,业界曾尝试采用 先 AI 生图、再图生视频 的方法,通过 AI 绘图工具如 Midjourney 生成分镜头画面,先在图片层面保持主体一致,然后再将这些画面转化为视频片段并进行剪辑合成。

  这种方式的问题是,AI 绘图的一致性并不完美,往往需要通过反复修改和局部重绘来解决。而且实际的视频制作过程中涉及众多场景和镜头,在处理多组分镜头的场景时,生图的工作量巨大,能占到全流程的一半以上,最终视频内容也会因为过分依赖分镜头画面而缺乏创造性和灵活性。

  Vidu 的「主体参照」功能没有用传统的分镜头画面生成步骤,而是通过 上传主体图 + 输入场景描述词 的方式,直接生成视频素材,能够大幅减少了工作量,并打破了分镜头画面对视频内容的限制。

  这使得创作者能够基于文本描述,发挥更大的想象力,创造出画面丰富、灵活多变的视频内容JN江南体育,为视频创作带来更大的自由度和创新空间。

  「主体参照」功能通过锁定角色或物体的形象,一方面让故事情节更具连贯性,另一方面让创作者能够更自由地探索故事的深度和广度。

  光驰矩阵的发起人、青年导演李宁正在打造中国首部 AIGC 院线电影《玄宇》。他利用 Vidu 预创作了一段男主的视频片段,其中所有人物画面仅通过男主近景、中景、远景三张定妆照生成。

  据李宁分享,之前 AI 电影创作采用传统的文生图、图生视频流程,在分镜的连贯上很难掌控,人物的整体造型很难保持一致,前期需要耗费大量的精力去调试图片,同时画面还容易产生镜头光影失控、图像模糊甚至变形等一系列问题,且随着视频篇幅的增加,这些问题被进一步放大。

  他发现 Vidu「主体参照」功能让人物的整体一致性显著提升,不再需要前期生成大量的图片,人物运动和画面过渡也更加自然,极大助力了长篇叙事的创作。

  中央广播电视总台导演、AIGC 艺术家石宇翔(森海荧光)创作了一条动画短片《夏日的礼物》。他分享说,与基础的图生视频功能相比,「主体参照」功能摆脱了静态图片的束缚,生成的画面更具感染力和自由度,让创作的连贯性大大提升,还帮助他节约 7 成左右的生图工作量,让他能够将更多精力放在故事内容的打磨上,而非生成图片素材上。再叠加上 Vidu 的复杂动作处理能力和多元素的理解能力,他觉得 Vidu 就像是一位真人助理 动画师 在辅助创作。

  广告片的一大关键在于要保证多个镜头、不同场景下品牌物形象的一致性。Vidu「主体参照」功能可以很好的实现,例如在跑步鞋广告案例中,仅通过一张商品图,便完成了所有视频画面的生成,无论是不同角度、背景,还是动态表现,跑步鞋的形象在整个视频中都保持了高度一致。

  据生数科技官方介绍,该视频仅一位人员花费 6 个小时完成,包含前期策划、素材生成,后期剪辑,其中 30 段 AI 视频素材的生成仅花费 3 个小时,整个流程仅参照一张商品图。

  传统广告片制作高度依赖线下实拍和后期制作,时间周期长、成本投入大,但现在通过 Vidu 能够极大地节省广告制作的成本,整个产出流程更加高效,品牌方对新素材的开发也能更加灵活。

  此前 Vidu 牵手海内外头部艺术家已产出百部优秀作品,全平台播放量破千万。面向专业创作领域,Vidu 正与 AI 艺术家们合作探索 AI 赋能下的全新创作模式。

  比如与北京电影节 AIGC 短片单元最佳影片得主、Ainimate Lab 合作打造的动画短片《一路向南》,画面质量接近传统动画制作标准,但成本仅为传统流程的 1/40。

  Ainimate Lab AI 负责人陈刘芳说,该短片的创作团队仅由三人构成:一名导演、一名故事版艺术家和一名 AIGC 技术应用专家。Vidu 大大缩短了制作周期并显著降低了成本,制作周期约为 1 周。相比之下,传统流程需要 20 人,包含导演、美术、建模、灯光、渲染等不同 工种 ,周期在 1 个月左右。

  在唐家渝看来,「主体参照」这一全新功能的上线,代表着 AI 完整叙事的开端,AI 视频创作也将迈向更高效、更灵活的阶段。

  无论是制作短视频、动画作品还是广告片,在叙事的艺术中,一个完整的叙事体系是 主体一致、场景一致、风格一致 等要素的有机结合。

  主体参照 功能是 Vidu 在一致性方面迈出的重要一步。接下来 Vidu 会继续探索如何精确控制多主体交互、风格统一、多变场景稳定切换等复杂元素,以满足更高层次的叙事需求。

  长远来看,一旦实现了全面的可控性,视频创作行业将经历一场颠覆性的变革。届时,角色、场景、风格,甚至镜头运用、光影效果等元素,都将转化为可灵活调整的参数。用户只需要动动手指、调调参,就可以完成一部影像作品的创作,而每一个作品的背后,也将是用户基于 AI 构建出的独特世界观和自我表达。

搜索