2023年10月2日至10月6日,IEEE国际计算机视觉大会(International Conference on Computer Vision,简称ICCV)在法国巴黎召开,我校bet3365标准版陕西省信息获取与处理重点实验室在戴玉超教授、何明一教授指导下共有五篇论文被大会接收,内容涉及动态场景新视角合成、深度图填充、事件相机二维光流三维场景流估计、多模态音视频分割和三维点云过分割等方向,其中实验室博士生郭相在会议中进行了口头报告(口头报告接受率为1.8%)。
ICCV是计算机视觉领域最具影响力的顶级会议之一。ICCV、CVPR和ECCV并称为计算机视觉领域三大国际顶级会议。ICCV会议创始于1987年,自那以后在世界范围内每两年举办一届,其在全球范围内吸引了众多研究人员的参与,并为研究人员提供了一个交流与合作的重要平台。ICCV作为计算机视觉领域的顶级会议有着严苛的接收标准,2023年,ICCV在全球范围内总共收到8260篇有效投稿论文,最终录用2160篇论文,录取率为26%。在这2160篇论文中,有152篇论文收到了大会现场口头报告的邀请,口头报告论文占总投稿论文的比例为1.8%。
第一项工作为实验室博士生郭相完成的口头报告(Oral)工作“Forward Flow for Novel View Synthesis of Dynamic Scenes”, 该工作提出了一种基于神经辐射场(NeRF)方法,使用前向warping对动态场景进行新视角合成。该工作提出估计前向位移场并将canonical辐射场直接warp到其他时刻进行图像渲染。这种前向位移场是平滑且连续的,有利于运动模型的学习。为了实现这一目标,该工作提出一种可微的warp过程,包括平均操作和填充网络,以解决多对一和一对多映射问题。多个公开数据集上的实验验证了提出的前向位移场对运动建模的有效性。
第二项工作为实验室博士生王宇飞完成的“LRRU: Long-short Range Recurrent Updating Networks for Depth Completion”,该工作围绕稀疏深度图像填充这一任务,旨在将主动深度传感器获取的稀疏深度图补全为稠密精确深度图。该工作摒弃了传统的直接拟合稠密深度图再优化的算法框架,提出了一种新颖的轻量化网络框架,其先通过传统方法预填充稀疏深度图,之后依据灵活的长距到短距的优化策略,使用设计的目标相关的更新模块迭代优化预填充深度图。该工作在公开的室内和室外数据集中使用更少的模型参数和运算时间却取得了最优越的性能,自动驾驶 KITTI 深度填充排行榜排名第一。
第三项工作为实验室博士生万哲雄完成的“RPEFlow: Multimodal Fusion of RGB-PointCloud-Event for Joint Optical Flow and Scene Flow Estimation”,该工作提出了一种结合多模态数据估计三维运动的方法。论文提出一个融合图像、点云和事件以联合估计光流和场景流的多阶段多模态融合模型RPEFlow,其中基于交叉注意机制的多模态融合模块隐式地探索二维和三维分支的多模态特征间相关性,多模态互信息特征学习正则化显式地建模三种模态的互补信息。在仿真和真实数据上的实验表明,提出的模型明显优于已有的基于单模态或两模态的光流估计或场景流估计方法。
第四项工作为实验室博士生毛宇昕完成的“Multimodal Variational Auto-encoder based Audio-Visual Segmentation”,该工作致力于音频信息引导的视频发声目标分割问题。论文提出了一个基于多模态变分自编码器,将不同模态的信息编码为有意义的隐空间,并且从多模态隐空间建模的角度出发,提出了基于正交约束的模态分解策略。同时,使用互信息对于多模态隐空间的信息量进行了约束。在AVSBench上的实验结果表明,提出的方法不仅在单声源的场景中取得了最先进的性能,也能够成功处理更加复杂的多声源场景。
第五项工作为实验室青年教师惠乐完成的“Efficient LiDAR Point Cloud Oversegmentation Network”,该工作致力于大规模激光雷达点云的过分割问题。论文提出了一种简单且高效的端到端激光雷达点云超点分割网络,该网络基于学习到的点云局部几何信息,设计快速宽度优先搜索算法进行超点分割。提出的方法在SemanticKITTI和nuScenes数据集上取得了最先进的点云过分割性能,且比先前方法的速度快100倍。此外,利用点云过分割产生的超点还可以显著提升点云的语义分割性能。
戴玉超教授是我校bet3365标准版教授、博士生导师,国家级青年人才,陕西省信息获取与处理重点实验室主任及国际联合研究中心副主任。其主要研究方向是智能视觉感知、三维场景重建、多视角几何等,近年来在IEEE TPAMI、IJCV、ICCV、CVPR、NeurIPS、ECCV等国际期刊和会议上发表论文70余篇,获陕西省自然科学一等奖、中国图象图形学学会青年科学家奖以及IEEE CVPR 2012最佳论文奖(大陆高校首次)、IEEE CVPR 2020最佳论文奖提名等多项国际学术奖项,担任CVPR、ICCV、NeurIPS等国际顶级会议领域主席(Area Chair)。何明一教授是我校bet3365标准版教授、博士生导师,享受国务院政府特殊津贴的高层次专家,陕西省信息获取与处理重点实验室创建人和国际联合研究中心主任,对地观测研究中心主任及首席科学家,亚太信号与信息处理联合会副主席。
图/文:惠乐、王宇飞