书生·筑梦2.0（Vchitect 2.0） - 上海人工智能实验室推出的AI视频生成模型

书生·筑梦2.0是什么

书生·筑梦2.0（Vchitect 2.0）是上海人工智能实验室推出的升级版视频生成开源大模型，方向是做符合中国文化、贴合东方审美的视频内容。模型支持长达20秒的视频生成，分辨率兼容多种，4:3和16:9都在范围内。它还有一套2K分辨率、24fps的一体化视频增强模型，把视频生成、插帧超分、画面修复这些功能集成在一起，让视频的质量和美学水平往上走。Vchitect 2.0推出了首个支持20秒以上长视频的评测框架，视频生成技术的应用也因此往前走了一步。

书生·筑梦2.0的主要功能

• 文本到视频生成：输入文本提示，可以生成5到20秒的短视频。
• 图像到视频转换：可以把静态图像转成5到10秒的视频内容。
• 灵活的宽高比：生成的视频宽高比基本不受限制，不同的展示需求都能适配。
• 高清视频生成：最高能生成720×480分辨率的高清视频。
• 超分辨率和帧插入：集成了VEnhancer时空增强模块，对视频做超分辨率处理和帧插入，画质可以提升到2K分辨率，流畅度到24fps。
• 视频生成评测框架：推出首个支持20秒以上长视频的评测框架VBench，给视频生成模型提供一套比较全面的评测工具。

书生·筑梦2.0的技术原理

• 自然语言处理：解析文本提示，弄清用户想创作什么。
• 视频生成算法：把文本或图像转换成视频内容，用到深度学习和生成模型技术。
• 级联潜在扩散模型：用级联的潜在扩散模型生成视频，视频的质量和逼真度更高。
• 时空增强框架：VEnhancer模块负责超分辨率处理和帧插入，视频的流畅度和清晰度一起往上提。
• 多模态混合模型：把大语言模型和文图生成器结合起来，对文本指令的理解更准，生成出来的视频内容质量也更好。

书生·筑梦2.0的项目地址

• 项目官网：vchitect.intern-ai.org.cn
• GitHub仓库：https://github.com/Vchitect/Vchitect-2.0

书生·筑梦2.0的应用场景

• 广告制作：Vchitect 2.0能快速生成有创意、视觉冲击力强的短视频广告，广告的吸引力和影响力更强。
• 电影剪辑和后期制作：电影剪辑环节，模型帮剪辑师较快完成影片的剪辑工作，效率和质量都有提升。
• 教育内容制作：教师用Vchitect 2.0生成教学视频，课程内容呈现得更生动，学生的学习兴趣和效果跟着上来。
• 社交媒体内容创作：用户用Vchitect 2.0做个性化短视频，内容的吸引力和互动性更好，做完可以直接在社交平台分享。
• 新闻和纪录片制作：可以生成新闻报道或纪录片里的动态视频内容，报道的丰富性和观赏性都有提高。