GAMES Webinar 2024 – 360期(可控街景生成) | 王一达(理想汽车)，王启泰(中科院自动化所)

【GAMES Webinar 2025-360期】(视觉专题-可控街景生成)

报告嘉宾：王一达(理想汽车)

报告时间：2025年3月27号星期四晚上8:00-8:30（北京时间）

报告题目：可控街景生成仿真

报告摘要：

基于多路相机等密集采样传感器以及对应的传感器姿态能利用诸如NeuS和3DGS等3D数据结构构建仿真环境，解决虚拟仿真器中固有的失真问题。然而当前基于真实数据构建的仿真环境在自由视角预览，特别是相机轨迹外插方面存在显著局限。这主要是由于有限的采集位置以及动态与静态环境元素之间的频繁遮挡现象，导致其在新视角仿真（渲染）精度和真实度上急剧退化，与仿真器构建的初衷相悖。

本次分享讨论以维持3D结构一致性为前提合理设计当前流行的生成模型和仿真环境的结合方式，着重提升新视角仿真能力。通过阐述三个在CVPR 2025上发表的合作研究成-StreetCrafter、DriveDreamer4D和ReconDreamer，具体来展示这种设计范式的实际应用与细节。在技术上的突破，也为仿真环境的的设计带来新思路；最后，本次分享通过一个利用生成模型做3D语义外插的StyledStreets工作，进一步在新的维度上拓展了以3D一致性为目标的生成模型应用领域。

讲者简介：

理想汽车高级算法研发工程师，TUM博士。至今在TPAMI、CVPR等期刊或会议发表3D计算机视觉相关论文十余篇，微软开源挑战银奖，Github Mars 2020奖励。

讲者主页：https://scholar.google.com/citations?hl=en&user=HpfFgYIAAAAJ

报告嘉宾：王启泰(中科院自动化所)

报告时间：2025年3月27号星期四晚上8:30-9:00（北京时间）

报告题目：FreeVS & FreeSim：基于生成模型的真实场景中任意驾驶轨迹模拟

报告摘要：

为实现闭环驾驶仿真，前有工作从重建（真实场景）与生成（场景生成）两方向进行了不同路线的探索。现有生成方法在生成空间、时序严格一致的三维场景上仍然存在挑战。而现有的基于场景重建的新视图合成方法(Novel-View Synthesis)关注沿自车原有行驶轨迹合成相机视图。当相机视点偏离原有轨迹时，重建方法的图像渲染质量将严重下降，因而无法满足自由驾驶轨迹模拟的需求。我们近期提出的FreeVS / FreeSim系列工作结合利用了生成模型的信息补全能力与重建方法的空间一致性约束，致力于实现真实场景中的自由自车驾驶轨迹下的相机成像模拟。

讲者主页：https://github.com/esdolo

主持人简介：

彭思达，浙江大学软件学院“百人计划”研究员，博士生导师，研究方向为三维计算机视觉和计算机图形学。至今在TPAMI、CVPR、ICCV等期刊或会议发表六十余篇论文，谷歌学术引用5200余次，其中一篇一作论文获得CVPR最佳论文提名，成果获得GitHub数万次stars和2024年中国CCF图形开源软件奖；入选斯坦福2024全球Top 2%科学家榜单、2024年中国计算机学会优博（国内计算机领域评选十人）；被苹果公司评为2022 Apple Scholar（亚太地区唯一），被华为公司评为2024启真优秀青年学者。

GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播？”及“如何加入GAMES微信群？”的信息；
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接：https://live.bilibili.com/h5/24617282