Sora级视频生成大模型“视界一粟YiSu”发布

时间:2024-06-11 22:30 来源:光明网   阅读量:7642      

近日,极佳科技联合清华大学自动化系发布中国首个超长时长、高性价比、端侧可用的Sora级视频生成大模型“视界一粟 YiSu”。

据悉,“视界一粟 YiSu”拥有模型原生的16秒超长时长,并可生成至1分钟以上,同时还拥有超大运动、超强表现力、懂物理世界等众多优势,更重要的是,YiSu模型成本更低、速度更快、端侧可用。通过YiSu模型强大的性能和极致的性价比,有望更快实现长视频生成的大规模产品应用。

年初Sora的爆火,让DiT受到业内极大关注,很多公司和项目开始复现DiT路线。极佳科技和清华大学研究人员在视频生成技术路线上有着深入的积累和独特的理解,在autoregressive、Masked Token、DiT、UNet等不同路线方面均拥有丰富的经验。此前,团队提出WorldDreamer,是全球第一次以Transformer和LLM(Masked Token路线)为中心的视频生成工作。

“视界一粟 YiSu”基于团队自研的视频生成大模型技术,并没有止步于DiT,而是融合LLM和扩散模型的自研架构,结合各种路线的优势,在多模态融合、训练效率、推理效率、模型效果等方面进行极致优化,打造视频生成的最佳方案。

极佳科技认为,世界模型对于自动驾驶、通用机器人等物理世界的通用智能至关重要,在数据生成、闭环仿真、端到端方案等方面都拥有关键的作用,视频生成是走向世界模型最高效的路径。

在世界模型方向,极佳科技发布了中国首个自动驾驶世界模型,并获得业内首个世界模型商业化定点和落地,签约多个头部主机厂和大客户。极佳科技通过世界模型已经服务自动驾驶、机器人等具身智能客户几十余家,携手行业加速走向物理世界通用智能。

此次发布的是YiSu-Beta V0.5版本,YiSu大模型正在按照每周一个小版本、每月一个大版本的迭代速度飞速成长和进化,未来几个月在视频时长、可控性、推理速度、运行成本、理解物理世界等方面将持续迎来大幅度的提升,为行业客户和广大用户带来更多的价值和功能。

据了解,极佳科技核心团队是兼具技术、产业、创业的顶尖综合团队,拥有超过十年、全球领先的AI技术积累,同时还拥有AI、自动驾驶、大模型等方向连续创业经验。

郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。