GAMES Webinar 2024 – 313期(基于Diffusion的多视角生成和三维补全) | 储瑞航(香港中文大学),杨鑫(香港科技大学(广州)))
【GAMES Webinar 2024-313期】(视觉专题-基于Diffusion的多视角生成和三维补全)
报告嘉宾:储瑞航(香港中文大学)
报告时间:2024年3月8号星期五晚上8:00-9:00(北京时间)
报告题目:DiffComplete: 基于扩散模型的可控三维补全
报告摘要:
三维补全是通过不完整的3D数据填补缺失的区域,生成完整去噪的3D形状的过程。这一任务可以提高三维数据的完整性,极大增强其下游应用的准确性和可靠性。本工作提出一种新的基于扩散模型的三维物体补全方法,比以往的方法更具有补全真实感、多样性和高保真度。该方法将形状补全看作是以不完整形状为条件的生成任务,并引入了一个可学习的控制分支来多层级地捕获条件输入的局部细节,以此让补全准确性和多样性达到可控。同时,通过设计的基于体素掩码的动态融合策略,不断提高补全形状的几何准确性至接近真实形状。此外,该方法在完全未见过的物体类别上具有良好的泛化性能,无需重新训练即可高效的完成补全任务。
讲者简介:
储瑞航,香港中文大学四年级博士生,师从贾佳亚教授,本科毕业于北京航空航天大学。主要研究方向为计算机视觉、三维生成与感知、和多模态大模型。在CVPR、ICCV、NeurIPS、RA-L等会议及期刊上发表15篇以上文章,其中一作为6篇,并发明多项中国发明专利。长期担任CVPR、ICCV、ECCV、NeurIPS、ICML、ICLR、TPAMI等会议或期刊审稿人。
报告嘉宾:杨鑫(香港科技大学(广州))
报告时间:2024年3月8号星期五晚上9:00-10:00(北京时间)
报告题目:LucidDreamer: 基于2D Diffusion监督的高质量文本到3D生成框架
报告摘要:
本工作探索了会影响文本到3D生成的视觉质量的因素,通过回顾SDS损失的过平滑问题,本文从3D蒸馏的原理出发提出了一种优化框架,简称为ISM。除此之外,该工作引入了3D高斯分布(3DGS)作为他们的3D表示和用于初始化的3D点云生成模型,并大幅减少了3D生成的训练时间。
讲者简介:
杨鑫,香港科技大学人工智能专业博士研究生(三年级),本科毕业于中山大学,曾任职于思谋科技机器学习工程师。该生现师从于香港科技大学(广州)人工智能学域陈颖聪教授,专注于计算机视觉方向的研究,尤其在高清图像处理,高质量图像及三维模型生成方向,曾参与CVPR、AAAI、IJCV会议审稿工作,并在CVPR、ICCV、ACMMM等顶级学术会议以第一、第二作者身份发表数篇论文,部分工作受到业界广泛关注。
讲者主页:https://abnervictor.github.io/2023/06/12/Academic-Self-Intro.html
主持人简介:
徐晓刚目前就职于之江实验室,担任研究专家(PI),同时兼聘于浙江大学计算机科学与技术学院CAD国家重点实验室,担任新百人计划研究员,主要研究方向为多模态内容生成与修复。徐晓刚于2018年在浙江大学信息工程专业获得工学学士学位,于2022年在香港中文大学获得博士学位,师从香港中文大学IEEE Fellow贾佳亚教授。徐晓刚在人工智能和计算机视觉领域累计发表共4篇国际顶级期刊论文(均为CCF-A论文,其中3篇为第一作者),22篇国际顶级会议论文(其中11篇为第一作者,3篇为通讯作者),多项中国发明专利(落地于阿里巴巴等公司平台),并且担任多个国际学术会议(包括CVPR, ICCV, ECCV, NeurIPS, ICLR, ICML, AAAI等)和国际学术期刊(包括TPAMI, IJCV, TCSVT, TMM, TNNLS等)的审稿人和程序委员会。主持和参与之江实验室优秀青年科学基金,浙江省鲲鹏计划,浙江省自然科学基金重大项目等。个人主页(xuxiaogang.com)
GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播?”及“如何加入GAMES微信群?”的信息;
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接: https://live.bilibili.com/h5/24617282