近日，自動(dòng)化學(xué)院顏成鋼教授團(tuán)隊(duì)以杭電為第一單位的論文被多媒體領(lǐng)域的國(guó)際會(huì)議ACM Multimedia （CCF A類會(huì)議）錄用。該項(xiàng)研究由顏成鋼教授團(tuán)隊(duì)與中國(guó)科學(xué)院計(jì)算技術(shù)研究所李亮副研究員合作完成。第一作者為智能信息處理實(shí)驗(yàn)室碩士生張杰華，通訊作者為李亮，作者名單中還包含了智能信息處理實(shí)驗(yàn)室的顏成鋼、張繼勇老師等。
ACM MM是多媒體研究領(lǐng)域的首要國(guó)際會(huì)議，也是計(jì)算機(jī)圖形學(xué)與多媒體方向僅有三個(gè)CCF A類會(huì)議之一。ACM MM2021 一共收到 1,942 篇論文申請(qǐng),最終入選 542 篇論文(約 27.9% 的接受率)。
該論文Heuristic Depth Estimation with Progressive Depth Reconstruction and Confidence-Aware Loss提出了一種包含漸進(jìn)式深度重建和可信度感知的啟發(fā)式深度估計(jì)框架，探索了對(duì)低成本距離傳感器數(shù)據(jù)的高效利用，提升了基于深度學(xué)習(xí)的深度估計(jì)網(wǎng)絡(luò)的準(zhǔn)確率以及對(duì)細(xì)小物體的重建能力。深度估計(jì)任務(wù)的目的在于根據(jù)輸入彩色圖片預(yù)測(cè)每個(gè)像素點(diǎn)的到相機(jī)的距離，在現(xiàn)實(shí)世界的許多應(yīng)用中扮演著重要的角色，例如增強(qiáng)現(xiàn)實(shí)、虛擬現(xiàn)實(shí)和自動(dòng)駕駛。在稀疏深度樣本的幫助下，現(xiàn)有基于深度學(xué)習(xí)的方法獲得了較高的準(zhǔn)確率。然而，這些方法通常直接從高置信度稀疏深度樣本中推理出密集的深度圖，忽略了低置信度樣本中的信息，我們提出一種漸進(jìn)式的深度估計(jì)方法和可信度感知損失，利用低可信度的樣本蒸餾出空間幾何和局部語(yǔ)義信息用于優(yōu)化深度圖。具體來(lái)說(shuō)，我們首先訓(xùn)練一個(gè)U-NET網(wǎng)絡(luò)，用稀疏深度樣本生成粗糙的深度圖和相應(yīng)的置信度圖。其次，一個(gè)漸進(jìn)式深度重建網(wǎng)絡(luò)利用彩色圖像和粗糙深度圖，逐步的從多個(gè)尺度重建出細(xì)粒度的密集深度圖，其中有一個(gè)新設(shè)計(jì)的多級(jí)上采樣模塊用于恢復(fù)物體的局部結(jié)構(gòu)。最后，我們提出了一個(gè)可信度感知損失函數(shù)，鼓勵(lì)網(wǎng)絡(luò)關(guān)注低可信度的樣本，引導(dǎo)網(wǎng)絡(luò)針對(duì)性的優(yōu)化深度預(yù)測(cè)誤差較大的區(qū)域，例如細(xì)小物體的結(jié)構(gòu)和物體的輪廓等。
