近日，計(jì)算機(jī)學(xué)院俞俊教授團(tuán)隊(duì)以杭電為第一單位的論文被計(jì)算機(jī)視覺領(lǐng)域的頂級(jí)會(huì)議CVPR 2022（CCF A類會(huì)議）錄用。該項(xiàng)研究由俞俊教授團(tuán)隊(duì)與美國NEC實(shí)驗(yàn)室合作完成。第一作者為實(shí)驗(yàn)室博士后包俊，俞俊教授為本文通訊作者。

該論文ESCNet: Gaze Target Detection with the Understanding of 3D Scenes提出了一種基于單張圖像3D重建的視線目標(biāo)檢測(cè)模型。視線目標(biāo)檢測(cè)任務(wù)的目的在于判斷自然場(chǎng)景中人物看在哪里，即注意力的位置。視線目標(biāo)檢測(cè)廣泛應(yīng)用于多種場(chǎng)景中，如人機(jī)交互、輔助駕駛、認(rèn)知科學(xué)研究和醫(yī)療診斷。傳統(tǒng)方法或只使用2D圖像信息，或只使用部分深度信息。本文提出一種基于3D幾何信息輔助的模型ESCNet。對(duì)于單張圖片，先通過深度估計(jì)和標(biāo)的物體得到3D點(diǎn)云，然后獲取點(diǎn)云里從每個(gè)角度最靠近目標(biāo)人物的點(diǎn)的集合。ESCNet包括幾何模塊和場(chǎng)景分析模塊，前者單從3D幾何信息判斷人物視線可能到達(dá)的物體并得到初始熱圖，后者通過分析場(chǎng)景其他信息精煉初始熱圖。本文的方法在GazeFollow數(shù)據(jù)集上AUC準(zhǔn)確率相比現(xiàn)有最好的結(jié)果提升顯著，并超越了該數(shù)據(jù)集上人類的水平。