近日，计算机学院俞俊教授团队以杭电为第一单位的论文被计算机视觉领域的顶级会议CVPR 2022（CCF A类会议）录用。该项研究由俞俊教授团队与美国NEC实验室合作完成。第一作者为实验室博士后包俊，俞俊教授为本文通讯作者。
该论文ESCNet: Gaze Target Detection with the Understanding of 3D Scenes提出了一种基于单张图像3D重建的视线目标检测模型。视线目标检测任务的目的在于判断自然场景中人物看在哪里，即注意力的位置。视线目标检测广泛应用于多种场景中，如人机交互、辅助驾驶、认知科学研究和医疗诊断。传统方法或只使用2D图像信息，或只使用部分深度信息。本文提出一种基于3D几何信息辅助的模型ESCNet。对于单张图片，先通过深度估计和标的物体得到3D点云，然后获取点云里从每个角度最靠近目标人物的点的集合。ESCNet包括几何模块和场景分析模块，前者单从3D几何信息判断人物视线可能到达的物体并得到初始热图，后者通过分析场景其他信息精炼初始热图。本文的方法在GazeFollow数据集上AUC准确率相比现有最好的结果提升显著，并超越了该数据集上人类的水平。
