GAMES Webinar 2023 – 272期(高质量数字人建模与驱动) | 敖腾隆(北京大学),张启煊(上海科技大学/影眸科技)

【GAMES Webinar 2023-272期】(模拟与动画专题-高质量数字人建模与驱动)

报告嘉宾:敖腾隆(北京大学)

报告时间:2023年4月13号星期四晚上20:00-20:30(北京时间)

报告题目:音频/文本驱动的人体动作生成

报告摘要:

根据音频/文本自动生成自然且多样的人体动作(如手势、步态等)是计算机图形学存在已久并逐步受到广泛关注的研究方向。该方向从上世纪90年代以基于规则的方法起步,近年发展到以深度学习方法为主导,并在现阶段遇到了“如何让模型生成语义明确的动作,以及如何自由控制‘黑盒’模型”的挑战。针对第一个挑战,我们提出了一个分别显式建模节奏和语义的系统,其能在确保生成结果韵律和谐的同时,有效生成高频出现的语义动作。针对第二个挑战,我们提出了一个基于扩散模型的系统,通过利用强大的CLIP空间,实现了多模态prompts(文字、视频、动作)进行动作风格的自由编辑。此外,我们探索了利用大型语言模型(例如 ChatGPT)来增强生成结果的一些有趣应用。

讲者简介:

敖腾隆,北京大学计算机学院博士在读,指导老师为刘利斌。主要研究方向为音频/文本驱动的人体动作生成。曾获 SIGGRAPH Asia 2022 最佳论文奖。

讲者主页:https://aubrey-ao.github.io/


报告嘉宾:张启煊(上海科技大学/影眸科技)

报告时间:2023年4月13号星期四晚上20:30-21:10(北京时间)

报告题目:符合CG工业标准的数字角色的建模、驱动与生成

报告摘要:

本次分享将围绕数字角色的建模、驱动与生成展开探讨。随着计算机图形学与神经渲染技术的蓬勃发展,数字角色的应用范围越来越广泛,以NeRF为代表的一系列新技术鱼贯而出。然而,由于前沿的隐式表达方案下的建模、驱动与生成往往与主流CG流程的标准不兼容,如骨骼、模型、材质、绑定等标准,因此新技术在CG行业的应用一直受到制约。
在此背景下,我们进行了符合CG工业标准的数字角色的建模、驱动与生成的探索。本次报告将介绍我们在这一领域的研究成果,包括多项学术成果。
另外,我们还将分享我们在text-to-3D方面的最新成果,将自然语言描述转换为三维模型,为数字角色的创建提供了一种全新的思路和方法。

讲者简介:

张启煊,上海科技大学智能视觉与数据中心研究生,创立了数字人底层技术公司影眸科技。主要从事数字人底层技术与生成技术研究,研究方向为计算机图形学、计算摄影与生成式AI。带领团队研发了穹顶光场等技术,数项科研成果被SIGGRAPH/ICCV/CVPR等学术会议接收,并被成功应用于数十个影视、游戏项目中。

讲者主页:https://scholar.google.com/citations?hl=zh-CN&user=YvwsqvYAAAAJ


主持人简介:

刘利斌,北京大学智能学院助理教授,2014年博士毕业于清华大学,之后曾在加拿大英属哥伦比亚大学及美国迪士尼研究院进行博士后研究,后曾加入美国硅谷创业公司DeepMotion Inc.担任首席科学家。主要方向是计算机图形学,特别是数字人建模与动画、物理仿真、运动控制以及相关的优化控制、机器学习、增强学习等领域。他曾多次担任图形学领域重要国际会议如SIGGRAPH (North America/Asia)、PacificGraphics、SCA等的论文程序委员,以及图形学领域主要会议和期刊的审稿人。

 

GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播?”及“如何加入GAMES微信群?”的信息;
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接:http://webinar.games-cn.org

You may also like...