GAMES Webinar 2022 – 218期(vr场景的优化:凝视点渲染) | 石雪怀 (北京航空航天大学),谢卫健 (浙江大学,商汤科技)
【GAMES Webinar 2022-218期】(VR&AR专题-vr场景的优化:凝视点渲染)
报告嘉宾:石雪怀(北京航空航天大学)
报告时间:2022年2月24号星期四晚上20:00-20:35(北京时间)
报告题目:基于凝视点的多分辨率光照渲染方法的探究
报告摘要:
为了给用户提供沉浸交互式的虚拟环境,我们需要在VR头戴式显示器中更为高效地渲染3D场景的全局光照效果。凝视点渲染技术提供了一种基于视觉敏锐度将计算资源分配到不同的视觉区域,并在不同视觉区域渲染不同质量的图像,从而提高渲染算法性能的解决方案。本次讲座主要介绍凝视点渲染中的一个子研究方向—基于凝视点的多分辨率光照渲染方法的探究:首先介绍基于凝视点的立即辐射度方法,然后介绍基于凝视点的光子映射方法,最后介绍凝视点渲染中目前的主流研究内容,以及目前凝视点渲染中的一些挑战和开放性问题。
讲者简介:
石雪怀是中国北航大学计算机学院的在读博士生,导师是虚拟现实技术与系统国家重点实验室的王莉莉教授,目前的研究方向是虚拟现实和凝视点渲染。
报告嘉宾:谢卫健(浙江大学,商汤科技)
报告时间:2022年2月24号星期四晚上20:35-21:20(北京时间)
报告题目:Robust Tightly-Coupled Visual-Inertial Odometry with Pre-built Maps in High Latency Situations
报告摘要:
In this paper, we present a novel monocular visual-inertial odometry system with pre-built maps deployed on the remote server, which can robustly run in real-time on a mobile device even in high latency situations. By tightly coupling VIO with geometric priors from pre-built maps, our system can tolerate the high latency and low frequency of global localization service, which is especially suitable for practical applications when the localization service is deployed on the remote server. Firstly, sparse point clouds are obtained from the dense mesh by the ray casting method according to the localization results. The dense mesh can be reconstructed from the point clouds generated by Structure-from-Motion. We directly use the sparse point clouds in feature tracking and state update to suppress drift. In the process of feature tracking, the high local accuracy of VIO is fully utilized to effectively remove outliers and make our system robust. The experiments on EurocMav datasets and simulation datasets show that compared with state-of-the-art methods, our method can achieve better results in terms of both precision and robustness. The effectiveness of the proposed method is further demonstrated through a real-time AR demo on a mobile phone with the aid of visual localization on the remote server.
讲者简介:
谢卫健就职于商汤科技,研究的方向是3D视觉,SLAM方向。目前是浙江大学工程博士在读,博士导师是鲍虎军老师。研究生毕业于浙江大学cad&cg实验室,研究生导师是章国锋老师。
主持人简介:
潘俊君,博士,教授,博士生导师。本科、硕士毕业于西北工业大学计算机学院。2006年获全额奖学金,进入伯恩茅斯大学-英国国家计算机动画中心(NCCA)攻读博士学位,2010年博士毕业后在该中心从事博士后研究。2012年在美国伦斯勒理工大学的医学模拟、仿真与成像中心担任Research Associate。2013年11月,通过北航“卓越百人计划”引进,成为北京航空航天大学计算机学院副教授,2021年晋升为教授,并入选国家万人计划青年拔尖人才项目。目前学会任职: 吴阶平医学基金会模拟医学部虚拟技术专委会副主任委员,中国虚拟现实产业联盟虚拟医疗专委会秘书长,中国仿真学会医疗仿真专委会秘书长,中华医学会数字医学分会青年委员等。
主要研究方向包括:虚拟手术,计算机动画,医学可视化等。在IEEE Transactions on Medical Imaging, IEEE VR等国内外顶级及知名期刊、学术会议上发表60余篇学术论文,并担任多部国际期刊的评审人。授权专利12项(含美国专利2项),软件著作权7项,成果技术转化3项,是北航“青年拔尖人才”、“英国皇家学会牛顿基金”获得者。目前已承担包括3项国家自然科学基金,1项人社部优秀归国人员创新项目在内的20余项课题。作为项目骨干参与了国家自然学基金重大项目1项,国家重点研发计划2项。
专注医工交叉领域,学术研究与系统研发并重。在英国期间,研发了世界首台直肠癌腹腔镜手术的虚拟训专注练系统,成果获得BBC及医学杂志的采访与报道。在美国期间,受NIH资助,与哈佛大学医学院合作开展了世界首台NOTES手术训练系统研发。回国后带领团队研发了具有我国自主知识产权的“虚拟腹腔镜手术综合训练系统(UniLapsim)”,已实现产业化并在多家医院、医学院应用。相关成果在国内外产生了重要的学术与社会影响力,受到央视新闻联播、经济频道、新华网、中国青年报、中国电子报等多家媒体关注及报道。2008年获得“伯恩茅斯大学学者”荣誉头衔。2019年获得英国Global Visiting Fellowship Award(全球获奖者5人)。2020年获得中国电子学会科技进步一等奖(虚拟手术关键技术及应用)和山东省科技进步奖二等奖 (消化系肿瘤计算机辅助诊疗平台研发与临床应用)。2021年获得中国产学研合作创新成果一等奖(虚拟手术关键技术及应用)及“苏州相城区科技领军人才”称号,并入选国家万人计划青年拔尖人才项目。
GAMES主页的“使用教程”中有 “如何观看GAMES Webinar直播?”及“如何加入GAMES微信群?”的信息;
GAMES主页的“资源分享”有往届的直播讲座的视频及PPT等。
观看直播的链接:http://webinar.games-cn.org