海螺 AI 甩出“主体参考”,视频模型迈上新台阶发表时间:2025-01-10 16:41
作者|孙浩 编辑|星奈 媒体|AI大模型工场
刚刚迈入2025年,海螺AI就甩出了一张“王炸”。 就在今天,海螺AI正式推出“主体参考”功能,并以S2V-01新模型能力提供底层技术支持。 不可否认的是,目前视频生成大模型已经屡见不鲜,Sora、可灵AI、即梦AI均提供文生视频或图生视频功能。但目前大部分视频模型在生成包含人物的视频时,都难以保证人物面部多角度的真实度和稳定性。 2025年视频模型或是AI领域的主阵地,在此背景下,海螺AI抛出的“主体参考”功能,并顺势,带给AI视频赛道一些新的解题思路。
一、更低成本,更好表现,「主体参考」保持人物一致性 海螺AI的“主体参考”功能可以将图片的视觉信息拆解、剥离,读取“主体”的视觉信息,然后根据文本prompt ,灵活设计人物的动作、行为、所处环境等,兼顾“视觉信息的精准性”和“文本信息的组合性”两项优势。 此前,可灵AI其实也上线了类似的AI人像模型,不过该模型的底层逻辑与海螺AI的“主体参考”功能截然不同。可灵AI的AI人像模型使用的是LoRA微调方案,需要上传10-30段多样、高质量的视频,等待几十分钟才能训练完成,单次训练成本高达100元。大量输入,对于普通用户而言,使用门槛也较高。 对比而言,海螺AI的“主体参考”功能仅需输入1张图片,叠加一次正常的运算成本,即可生成高质量视频内容,使用门槛以及成本都显著低于可灵AI。 原始图片 海螺AI生成视频 结合具体的案例来看,尽管成本更低,但海螺AI的“主体参考”功能生成的视频效果依然很惊艳。我们给海螺AI输入了一张人物正面照,然后让它生成一个类似《指环王》电影风格的视频。 仔细观察视频可以发现,海螺AI不光可以准确理解Prompt提示词的要求,生成了电影级视效的视频,并且运动的人物面部也没有畸变,同时也可以保证细节精准还原,复杂光照环境下也有自然和谐的面光。 原始图片 海螺AI生成视频 让海螺AI结合人物正面照生成一个人脸抬起的同时,镜头快速拉近的视频时,其也能凭借先进的算法和卓越的图像处理能力,将人脸的每一处细节都处理得恰到好处。无论是精致的五官轮廓,亦或是下巴上的胡须,在运动过程中的过渡都十分流畅。 再来看看这个案例,海螺AI生成女性面部特写视频时,强大的数据处理和图像解析能力得以充分彰显。海螺AI能够以超乎想象的精准度,全方位地捕捉人物的面部特征。从每一根发丝的走向到面部细微的神态变化,无一遗漏。 原始图片 就拿视频中女性面部的三颗痣来说,这看似微小的细节,却成为了检验AI能力的关键之处。海螺AI在生成视频的过程中,对这三颗痣的位置、大小、颜色以及与周围皮肤的融合度等方面,都做到了精准还原。对比而言,目前市场上的其他AI产品,在面对如此精细的面部特征还原任务时,往往力不从心,难以达到海螺AI优异的表现。 海螺AI生成视频 再比如,我们用熟悉的表情包“what”哥,生成一段在餐厅上菜的视频。 原始图片 海螺AI生成视频 可以看到,“what”哥从走向餐桌到平稳放下菜肴的过程中,主角面部始终保持高度一致性。尤其他还面带微笑,与端菜场景高度匹配,整个画面充满生活气息和真实感。 另外,我们在体验过程中还发现,海螺AI可以同时生成5个视频,并且生成速度在1-3分钟内,这效率可以说是非常高了。 其他AI视频产品生成的视频 作为对比,我们在其他AI视频产品中使用同样的照片和指令生成视频,结果其仅生成了一个镜头逐渐拉远的镜头,并不符合要求。随后,我们把指令换成了“这个人在马路上跳舞”,结果虽然生成了符合要求的内容,但出现了严重的人脸畸变和手掌消失等问题。 综合来看,海螺AI的“主体参考”功能在在用户输入和计算成本更可控的情况下,实现了更出色的生成效果,相较其他需要耗费巨额资金、海量素材和时间的AI人像模型方案,拥有更强的比较优势。
二、解决「主体一致」,释放更大商业潜力 视频生成大模型技术问世之初,就有诸多行业专家认为,其蕴含着巨大的商业价值,有潜力落地在商业广告、短剧等制作中。 比如,电影导演贾斯汀·波里尔就曾表示,随着技术逐渐成熟,品牌商接下来将可以利用视频生成大模型生成备用画面素材,大幅降低采购版权库片源的成本。无独有偶,博纳影业集团影视制作副总经理曲吉小江也对外表示,“AI与短剧的融合将激活潜在创作者,构建人才聚合平台,并丰富短剧类型。” 不过不能忽视的是,一项新的技术迈向商用,不光需要具备想象力,也需要在效果、成本、效率等维度实现完美的平衡。目前市面上的大部分视频生成大模型技术,大多存在内容质量不佳、成本高企等问题,很难大规模商用。 测试下来,初代的模型可能偶尔不如T2V或I2V那样精确地遵循提示,并且会出现一些环境变形。但凭借高水准、高自由度的“主体一致”,可以看出MiniMax用技术创新解决应用痛点的思考与能力。海螺AI表示:未来会持续升级功能,逐步解决多主体参考、物体参考以及复杂的多层次场景。 图源:头豹研究院 头豹研究院披露的数据显示,2021年,中国AI视频生成行业的市场规模为800万元,预计到2026年将增长至92.79亿元,复合年增长率高达310.09%。 由于可以避免“人脸畸变”,海螺AI的“主体参考”功能在广告市场拥有巨大的商业前景。比如,运动品牌商可以通过海螺AI的“主体参考”功能生成运动的人物,不用担心出现“恐怖谷”效应。 海螺AI生成视频 比如,在海边跑步视频里,男性奔跑时,海风呼啸、身体颠簸,但面部细节,如五官的形状、位置分毫未变,连胡须的长度、卷曲度都清晰且稳定。当场景切换到佩戴墨镜的视频,即使光线、面部动作改变,但面部细节依旧完美衔接,胡须和面部轮廓始终保持与跑步视频高度一致。这种一致性不仅体现了海螺AI强大的技术实力,也让两个视频中的人物形象更加真实、连贯,极大提升了视频的整体质量与视觉体验。 在短剧市场,由于可以保持“主体一致性”,海螺AI的“主体参考”功能生成多个视频内容时,也能保证人物的一致性,可以极大地提高内容创作者的工作效率。 海螺AI生成视频 在这个海螺AI生成的短剧中,“主体参考” 功能让视觉呈现达到了电影级水准。镜头切换时,每个角色的面部细节都能做到无缝衔接。剧中人物 移动、交谈、情绪起伏时,五官轮廓、皮肤纹理、表情变化都始终保持高度一致。 并且,针对不同视频风格的需求,海螺AI提供多种样式选择,包括动画、短片、宣传片等,允许用户在创作中自由切换风格。此外,海螺AI还支持多种语言的文本输入,方便国际用户使用。 图源:AI产品榜·12月视频生成榜 2024年10月-12月,AI产品榜中,海螺AI月访问量分别为1173万、1762万、2732万,分别同比增长2772.92%、39.33%、67.1%。经过数月的积累,2024年末,海螺AI凭借2732万的网站访问量超越Sora,位列视频生成产品榜单TOP 1。 放眼国内视频大模型市场,在众多参与者中,真正能够在技术创新、功能实用以及商业潜力等方面展现出强大竞争力的,只有寥寥数家。目前,海螺AI 已凭借出色效果和数据表现暂时领先。快手的可灵 AI 以“规模效应”占据重要位置,字节即梦AI虽尚未完全绽放光芒,但凭借字节跳动的强大实力,未来也值得期待。 因此,可以预测,未来国内视频大模型的竞争格局,或将由快手的可灵 AI、字节的即梦AI,MiniMax的海螺AI三家主导。
|