GAMES Webinar 2023 – 273期(三维内容生成) | 徐英豪(香港中文大学)，邓丛悦(斯坦福大学)

by wenny · 2023年4月17日

【GAMES Webinar 2023-273期】(视觉专题-三维内容生成)

报告嘉宾：徐英豪(香港中文大学)

报告时间：2023年4月20号星期四上午10:00-10:30（北京时间）

报告题目：3D Generation from Unstructured Single-view Data

报告摘要：

Pixel-based content creation has made remarkable progress thanks to 2D generative models. However, a deeper understanding of the 3D world beyond image space is necessary for a wide range of real-world applications, such as AR and VR. Traditional 3D content creation authoring pipelines require professional expertise and significant financial investment to build large 3D datasets. In this talk, I will introduce our recent works in enabling 3D generative modeling from unstructured 2D images, especially in single-view data, by introducing powerful and effective 3D representations. It paves the way for generating high-quality 3D assets efficiently. Additionally, we also generalize the 3D generative model to in-the-wild objects and complex scenes, enabling 3D image generation on ImageNet and controllable 3D scene synthesis. These efforts are integral to our long-term vision of enabling high-quality, user-friendly 3D content creation for a broad audience.

讲者简介：

Yinghao Xu is a final-year Ph.D. student at Multimedia Lab (MMLab), Department of Information Engineering in The Chinese University of Hong Kong. His supervisor is Prof. Dahua Lin and Prof. Bolei Zhou. He is very interested in generative models and neural rendering, particularly in 3D generative models. During his Ph.D., he is fortunate to visit Stanford computational group, working with Prof. Gordon Wetzstein. Many of his papers have been awarded as oral representation and best paper candidate at CVPR, ECCV, NeurIPS and ICLR.

讲者主页：https://justimyhxu.github.io/

报告嘉宾：邓丛悦(斯坦福大学)

报告时间：2023年4月20号星期四上午10:30-11:00（北京时间）

报告题目：NeRDi: Single-View NeRF Synthesis with Language-Guided Diffusion as General Image Priors

报告摘要：

2D到3D的重建是一个不适定问题，然而人类由于多年积累的对3D世界的先验知识而十分擅长解决这一问题。从该角度出发，我们提出了NeRDi，一种基2D扩散模型图像先验的单视图 NeRF 重建框架。我们将单视图重建问题定义为图像约束下的3D生成问题，从而在给定视图约束下使用预训练的图像扩散模型优化3D的NeRF表示。我们充分利用现有的大规模视觉语言模型，并引入两种语言引导作为条件输入来指导扩散模型，从而提高生成的NeRF在不同视角下视觉特征和语义特征的一致性。

讲者简介：

邓丛悦，斯坦福大学计算机系三年级博士生，导师为美国三院院士Leonidas Guibas教授。本科以年级第一的成绩毕业于清华大学数学系。研究兴趣为三维计算机视觉、计算机图形学、几何计算。在CVPR、ICCV、NeurIPS等顶级会议上发表有多篇论文，其中包括通用SO(3)等变神经网络Vector Neurons。为SIGGRAPH、CVPR、ICCV等顶级会议以及TVCG、IJRR等顶级期刊担任审稿人。

讲者主页：https://cs.stanford.edu/~congyue/

主持人简介：

廖依伊，浙江大学特聘研究员。分别于西安交通大学和浙江大学获得学士与博士学位，随后在德国马克斯普朗克智能系统研究所及图宾根大学从事三年博士后研究。研究兴趣为三维视觉，包括场景重建、场景语义理解、可控图像生成等，代表作包括KITTI-360，GRAF，Deep Marching Cubes。担任CVPR 2023、NeurIPS 2023领域主席。个人主页：https://yiyiliao.github.io/。

GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播？”及“如何加入GAMES微信群？”的信息；
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接：http://webinar.games-cn.org