【豆包：视频生成模型“VideoWorld”可仅靠视觉认知世界 现已开源】据豆包大模型最新消息，视频生成实验模型“VideoWorld”由豆包大模型团队与北京交通大学、中国科学技术大学联合提出。不同于 Sora 、DALL-E 、Midjourney 等主流多模态模型，VideoWorld在业界首次实现无需依赖语言模型，即可认知世界。VideoWorld 仅通过 “视觉信息”，即浏览视频数据，就能让机器掌握推理、规划和决策等复杂能力。团队实验发现，仅300M参数量下，VideoWorld已取得可观的模型表现。
作为一种通用视频生成实验模型，VideoWorld去掉语言模型，实现了统一执行理解和推理任务。同时，它基于一种潜在动态模型，可高效压缩视频帧间的变化信息，显著提升知识学习效率和效果。团队认为，尽管面向真实世界的视频生成和泛化仍存在很大挑战，视频生成依然可以成为一种通用的知识学习方法，并在现实世界充当思考和行动的“人工大脑”。目前，该项目代码与模型已开源。
