GAMES Webinar 2024 – 351期(材质重建与生成) | 曾峥(加州大学圣巴巴拉分校)，汤英杰(南开大学)

【GAMES Webinar 2024-351期】(渲染专题-材质重建与生成)

报告嘉宾：曾峥(加州大学圣巴巴拉分校)

报告时间：2024年12月5号星期五早上10:00-10:20（北京时间）

报告题目：RGB↔X: Image Decomposition and Synthesis Using Material- and Lighting-aware Diffusion Models

报告摘要：

真实感渲染，逆向渲染，和基于生成模型的图像生成这三个领域似乎是图形学和视觉领域中互不相关的子领域。然而，最近的研究表明，基于扩散架构的本征图像（反照率、粗糙度、金属度）估算得到了改进；我们称之为 RGB→X 问题。我们进一步证明，在扩散框架中也可以解决给定本征图像， X→RGB 合成真实感渲染图像的反向问题。我们以室内场景的图像领域为重点，介绍了 RGB→X 的改进扩散模型，该模型还能估算光照，同时还介绍了首个能从（全部或部分）本征图像合成真实感渲染图像的 X→RGB 扩散模型。我们的 X→RGB 模型探索了传统渲染模型和生成模型之间的中间地带：我们可以只指定应遵循的某些外观属性，而让模型自由地幻化出其他属性的合理版本。这种灵活性使我们可以混合使用不同的训练数据集，这些数据集的可用通道各不相同。我们使用了多个现有数据集，并用我们自己的合成数据和真实数据对其进行了扩展，从而建立了一个模型，它能比以前的工作更好地提取场景属性，并生成高度逼真的室内场景图像。

讲者简介：

曾峥，加州大学圣巴巴拉分校四年级博士生，由闫令琪教授指导。曾峥于2018年毕业于山东大学，并取得学士和硕士学位，其期间的指导老师为王璐教授和徐延宁教授。曾峥的研究方向为动态大规模场景下的实时全局光照计算以及实时路径追踪。

讲者主页：https://zheng95z.github.io/

报告嘉宾：汤英杰(南开大学)

报告时间：2024年12月5号星期五早上10:00-10:20（北京时间）

报告题目：Woven Fabric Capture with a Reflection-Transmission Photo Pair

报告摘要：

从数字人到室内设计，数字化机织布在诸多应用中都具有重要价值。已有研究提出了一种轻量级的机织布采集方法，通过捕捉单张反射图像，并结合可微的几何与光照模型估计织物参数。这种方法估计的织物参数的渲染效果可以与照片非常接近。然而，仅依赖捕捉的反射图像不足以完全表征织物样本的反射特性。例如，不同厚度的织物可能具有相似的反射图像，但在透射方面会表现出显著差异。我们提出了一种通过两张采集图像（反射和透射）来恢复编织织物参数的方法。方法的核心是一种可微分的双向散射分布函数（BSDF）模型，能够处理包括单次和多次散射在内的反射与透射。我们提出了一个双层模型，其中单次散射采用与之前研究类似的SGGX相函数，而多次散射则采用我们定义的新的方位角不变的微片模型，称为ASGGX。这种新的布料BSDF模型在反射和透射方面均能很好地匹配真实机织布。我们使用简单的设备来采集反射和透射照片，仅需一部手机相机和两个点光源，并通过轻量化的神经网络结合可微分优化来估计织物参数。同时，我们显式建模了景深效应，通过简单的方案更好地匹配薄透镜相机的特性。最终，估计参数的渲染结果首次能够同时在反射和透射上与输入图像一致。

讲者简介：

汤英杰，南开大学一年级硕士生，导师是王贝贝教授，目前的研究方向是真实感渲染，包括材质的建模和重建。

主持人简介：

陈冠英，中山大学网络空间安全学院副教授。本科毕业于中山大学，2021年初在香港大学取得博士学位。近年来在一流会议（CVPR/ICCV/ECCV）与期刊 (TPAMI/IJCV）上发表论文20余篇，其中多篇论文入选Oral/Highlight报告。担任NeurIPS 2024领域主席、GAMES和VALSE执委委员、CSIG-3DV专委委员。主持国自然面上与青年项目。

GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播？”及“如何加入GAMES微信群？”的信息；
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接：https://live.bilibili.com/h5/24617282