GAMES Webinar 2024 – 312期(多模态可控视频生成) | 杨策元(上海人工智能实验室)，王鑫涛(腾讯)

【GAMES Webinar 2024-312期】(视觉专题-多模态可控视频生成)

报告嘉宾：杨策元(上海人工智能实验室)

报告时间：2024年2月29号星期四晚上8:00-8:45（北京时间）

报告题目：定制化的视频生成

报告摘要：

借助先进的文生图模型和个性化技术，人们可以以较低成本将想象力转化为高质量的图像。然而，对于将静态图像与动态运动相结合的动画技术，人们有着迫切的需求。为此，我们首先提出了AnimateDiff技术。通过简单注入训练好的动作模块，所有基于相同基础文生图派生的个性化版本都可以成为以文本驱动的模型，产生多样且个性化的动画和视频。该技术已辅助2024年春晚节目制作与2024年央视动画制作过程。

同时，考虑到仅依靠文本提示生成视频往往导致空间上的不确定性，过去通过利用稠密结构信号来增强可控性的同时也增加了推理的负担。为解决这个问题，研究团队引入了SparseCtrl，它利用时间上稀疏的信号实现灵活的结构控制，只需一个或少数输入。SparseCtrl通过引入一个额外的条件编码器来处理这些稀疏信号，同时保持预训练的文生视频模型不变。这种方法适用于不同形式的输入，如草图、深度图和RGB图像，为视频生成提供了更实用的控制，并促进了故事板、深度渲染、关键帧动画和插值等应用。

讲者简介：

杨策元，上海人工智能实验室研究员。他于2022年在香港中文大学取得博士学位。他的研究主要聚焦在计算机视觉领域，特别是图片，视频和3D生成等研究方向。代表工作为HiGAN, Aurora, AnimateDiff。至今为止在TPAMI，CVPR，NeurIPS等期刊会议发表论文25篇，谷歌学术引用约3800次。

讲者主页：https://ceyuan.me/

报告嘉宾：王鑫涛(腾讯)

报告时间：2024年2月29号星期四晚上8:45-9:30（北京时间）

报告题目：视频生成的初探及其可控性研究

报告摘要：

文生图的广泛应用和下游任务的繁荣发展，与开源模型以及活跃的社区环境有着紧密的联系，尤其是文生图基础模型Stable Diffusion的开源和社区生态的建设。然而，高质量视频生成的基础模型在开源社区中尚未得到广泛的发展，主要还是集中在初创公司中。视频生成的领域也日益受到学术界和工业界的关注。我们期望创建领先的视频生成模型，既适合研究又适合生产，为社区的发展做出贡献。该报告将介绍我们在开源视频基础模型 VideoCrafter 系列工作的初步探索，主要包括高质量的文本到视频的生成、图像到视频的生成 DynamiCrafter，以及在视频生成的标准化评测 EvalCrafter 等方面的工作。

同时，视频的可控性是视频生成在实际应用中必不可少的一部分，已有许多优秀的研究探索了可控性生成。本报告将重点关注视频中的运动，包括摄像机的运动和物体运动。精确控制摄像机和物体的运动对于视频生成的可控性至关重要。因此，我们提出了MotionCtrl，这是一种用于视频可控生成的统一且灵活的运动控制器。MotionCtrl 能够有效且独立地控制复杂的摄像机运动和灵活的物体运动。

最近，随着 OpenAI Sora 的发布，我们也越来越看到我们在视频生成探索中的局限性和面临的新挑战，报告也将简要讨论 Sora 对我们研究中的思考。

讲者简介：

王鑫涛，腾讯 ARC Lab 和 AI Lab专家研究员，本科毕业于浙江大学，博士毕业于香港中文大学，目前主要研究视觉生成相关内容，特别是图像、视频和 3D 的生成与编辑。在国际顶级会议期刊发表多篇文章，包括ESRGAN，GFPGAN，T2I-Adapter等，论文Google Scholar引用 11380 余次。

讲者主页：https://xinntao.github.io/

主持人简介：

彭思达，浙江大学软件学院“百人计划”研究员。在2023年获得浙江大学计算机科学与技术博士学位。研究方向为三维计算机视觉，代表工作为4K4D、Neural Body、PVNet。至今在TPAMI、CVPR、ICCV等期刊或会议发表三十余篇论文，谷歌学术引用2800余次，其中一篇一作论文获得CVPR最佳论文提名，在GitHub开源获得超过10000个stars。曾获得2023年全球IMC三维重建挑战赛冠军，2023年世界人工智能大会云帆奖-明日之星、2022 Apple Scholar、2020年CCF-CV学术新锐奖、2021年中国CCF图形开源软件奖。

GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播？”及“如何加入GAMES微信群？”的信息；
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接： https://live.bilibili.com/h5/24617282