顏成鋼教授團隊與京東探索研究院合作的題為Gait Recognition in the Wild with Dense 3D Representations and A Benchmark的論文,被計算機視覺頂級國際學術會議CVPR接收。本文的作者為鄭錦凱、劉鑫辰、劉武、何凌霄、顏成鋼和梅濤。
文章第一作者鄭錦凱表示,現有步態識別研究主要關注于人體輪廓序列或關鍵點序列等二維特征表達。然而,人們生活(行走)在三維空間中,將三維人體投影到二維平面會丟失許多步態識別所需的視角、體型和步態的動態信息等關鍵信息。因此,本研究旨在探索真實場景下基于密集三維表征的步態識別的問題。團隊提出一個探索3D人體骨骼蒙皮模型(3D Skinned Multi-Person Linear (SMPL) model)在步態識別上可行性的新框架,稱為SMPLGait。SMPLGait通過兩個精心設計的分支,分別從人體輪廓中提取外觀特征,及從3D SMPL中學習三維視角和體型的先驗知識。此外,由于缺乏合適的數據集,我們構建了第一個基于三維表示的自然場景大規模步態識別數據集,名為Gait3D。它包含4000個行人對象和超過25000個步態序列。Gait3D采集自一個無約束的真實室內場景中的39個攝像頭,提供了從視頻幀中恢復的3D SMPL數據,可支持密集人體體型、三維視角和步態動態信息的三維建模。此外,它還提供了二維人體輪廓和人體關鍵點數據,可幫助研究者們探索多模態步態識別。基于Gait3D,我們全面比較分析了本文提出的SMPLGait方法和現有步態識別方法,實驗結果不僅證明我們的方法具有更好的步態識別準確性,也顯示出三維特征表示在真實場景的步態識別問題中的巨大潛力。
鄭錦凱同學是杭電智能信息處理實驗的碩博連讀研究生,該實驗室成立于2016年,由顏成鋼教授領銜,并與美國北卡羅來納大學教堂山分校、中國科學院、清華大學、京東AI研究院等國內外多家科研院所有長期密切的合作,近年來培養出多名優秀學生。