近日,ACM International Conference on Multimedia (簡稱ACM MM)公布了論文的收錄結果,杭州電子科技大學計算機學院浙江省腦機協同智能重點實驗室以杭電為第一單位的論文被ACM MM(CCF A類會議)錄用。論文第一作者是2020級碩士研究生郭繼偉,論文的合作者還有唐佳佳博士,戴瑋辰副研究員和網易伏羲人工智能實驗室的丁彧博士,指導老師孔萬增教授為通訊作者。ACM是世界上最大的計算機領域專業性學術組織,其評選的圖靈獎(A.M. Turing Award)被公認為世界計算機領域的諾貝爾獎。而ACM MM被認為是多媒體技術領域奧運級別的頂級盛會,各類機構都將在會議上分享、交流最新研究成果。本屆大會的有效投稿量達2473篇,接收論文690篇,接收率約為27.9%。
論文Dynamically Adjust Word Representations Using Unaligned Multimodal Information提出一種端到端的多模態情感分析方法。創新性的利用未對齊的非語言行為信息,在整個話語尺度范圍內動態調整人類語言的表示從而完成多模態情感分析任務。相比較于利用對齊的行為信息的工作,未對齊的行為信息不需要手動的對多模態信號進行預處理,同時也能夠對多模態信息中存在的長距離依賴關系有效建模。本文的方法在CMU-MOSI和CMU-MOSEI兩個公開的多模態情感分析數據集上取得了顯著提升。