論壇名稱：CSIG圖像圖形中國(guó)行-西安電子科技大學(xué)

論壇時(shí)間：2021年5月16日14:00

會(huì)議地點(diǎn)：北校區(qū)新科技樓1012報(bào)告廳

主辦單位：綜合業(yè)務(wù)網(wǎng)理論及關(guān)鍵技術(shù)國(guó)家重點(diǎn)實(shí)驗(yàn)室

報(bào)告1：基于音視頻聯(lián)合及少樣本對(duì)齊的視頻行為定位與識(shí)別

講座人介紹：

林巍峣，上海交通大學(xué)教授。分別于2003年和2005年獲得上海交通大學(xué)學(xué)士和碩士學(xué)位，并于2010年獲得美國(guó)華盛頓大學(xué)西雅圖分校獲得博士學(xué)位。曾在包括Motorola, Real Networks和Thomson Technology在內(nèi)的多家公司的研究機(jī)構(gòu)擔(dān)任Research Intern。主要研究方向包括計(jì)算機(jī)視覺、視覺監(jiān)控、視頻行為理解、視頻及語(yǔ)義信息編碼等。林博士現(xiàn)任IEEE Trans. Image Processing, IEEE Trans. CSVT、IEEE Trans. ITS等期刊編委及ICPR20, BMVC19, MM18、ICIP19、ICME18等領(lǐng)域主席，并任IEEE MMSP、IEEE MSA TC、IEEE MMTC等學(xué)術(shù)專業(yè)委員會(huì)委員。在相關(guān)領(lǐng)域共發(fā)表期刊論文100余篇，含IEEE Transactions系列及CVPR、ICCV、AAAI等權(quán)威期刊和會(huì)議論文40余篇，獲專利18項(xiàng)。

講座內(nèi)容：

在本次報(bào)告中，我們將首先介紹基于音視頻的聯(lián)合信息，對(duì)于視頻中的目標(biāo)和行為進(jìn)行定位和感知的工作。通過(guò)音視頻的多模態(tài)融合，可以更精準(zhǔn)地實(shí)現(xiàn)視頻中關(guān)鍵目標(biāo)和行為的定位和感知。其次，我們也將進(jìn)一步介紹基于少樣本的行為識(shí)別工作，通過(guò)設(shè)計(jì)兩階段的時(shí)域?qū)R，解決視頻少樣本識(shí)別中樣本的時(shí)域不一致性，有效提升少樣本行為識(shí)別的精度。

報(bào)告2：異質(zhì)遷移度量學(xué)習(xí)

講座人介紹：

羅勇，武漢大學(xué)計(jì)算機(jī)學(xué)院教授。分別于2009年和2014年在西北工業(yè)大學(xué)和北京大學(xué)取得學(xué)士和博士學(xué)位，曾在新加坡南洋理工大學(xué)從事博士后研究。主要研究方向是機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘及其在視覺信息理解和分析方面的應(yīng)用。共發(fā)表包括IEEE TPAMI在內(nèi)的40余篇高水平論文，是2016年中國(guó)計(jì)算機(jī)學(xué)會(huì)（CCF）優(yōu)秀博士論文獲得者。曾獲得IJCAI最佳論文提名（2540選3）和IEEE Globecom最佳論文獎(jiǎng)，并與他的合作者獲得IEEE ICME和IEEE VCIP最佳論文獎(jiǎng)。所發(fā)表論文Google Scholar總引用1300余次。

講座內(nèi)容：

距離度量估計(jì)的準(zhǔn)確性在很多機(jī)器學(xué)習(xí)算法和應(yīng)用中起著至關(guān)重要的作用。在目標(biāo)域標(biāo)注信息有限的情況下，遷移度量學(xué)習(xí)（TML）能夠有效利用其它相關(guān)域的信息來(lái)幫助目標(biāo)域度量的學(xué)習(xí)?，F(xiàn)有的TML方法通常假設(shè)不同的數(shù)據(jù)表示相同（在同一特征空間）。但在很多實(shí)際應(yīng)用中，不同域的數(shù)據(jù)可能來(lái)自完全不同的特征空間，甚至存在語(yǔ)義鴻溝。為了解決這一難題，我們提出了一系列的異質(zhì)遷移度量學(xué)習(xí)方法，其中基于張量的異質(zhì)多任務(wù)度量學(xué)習(xí)方法不僅能夠處理任意多個(gè)異質(zhì)域，而且可以充分挖掘不同域之間的高階關(guān)聯(lián)信息。此外，基于知識(shí)片段遷移的異質(zhì)遷移度量學(xué)習(xí)方法有效能夠挖掘數(shù)據(jù)分布的非線性結(jié)構(gòu)，算法簡(jiǎn)單，方法靈活通用。

報(bào)告3：視頻定位研究進(jìn)展

講座人介紹：

趙洲，浙江大學(xué)計(jì)算機(jī)學(xué)院的副教授，博導(dǎo)，從事多媒體關(guān)鍵技術(shù)研發(fā)。在NIPS、ICLR、ICML、CVPR等會(huì)議發(fā)表20余篇論文，被引3000+次(Google Scholar)。主持兩項(xiàng)國(guó)家自然基金項(xiàng)目和浙江省項(xiàng)目。

講座內(nèi)容：

給定一個(gè)未經(jīng)裁剪的視頻與相對(duì)應(yīng)的文本查詢，視頻時(shí)序定位旨在確定與描述語(yǔ)句具有最高語(yǔ)義相關(guān)性的視頻片段，該任務(wù)通常使用機(jī)器學(xué)習(xí)或深度學(xué)習(xí)的方法解析并對(duì)齊視頻與文本中蘊(yùn)含的語(yǔ)義信息。目前，視頻時(shí)序定位具有以下挑戰(zhàn)：1.文本與視頻屬于不同模態(tài)的數(shù)據(jù)，其表達(dá)形式與理解方式均有較大差異，這便要求時(shí)序定位模型具有跨模態(tài)語(yǔ)義理解、關(guān)聯(lián)與融合能力；2.同一視頻的不同片段具有較高的相似度與一致性，這也要求模型能夠具有良好的細(xì)粒度區(qū)分與辨別能力。針對(duì)以上挑戰(zhàn)，近期的工作提出了基于多頭注意力機(jī)制與語(yǔ)義圖結(jié)構(gòu)的預(yù)測(cè)方法、基于時(shí)空?qǐng)D推理的預(yù)測(cè)方法與基于多級(jí)決策分解的預(yù)測(cè)方法等較為有效的思路，從而較好地解決上述難點(diǎn)。本報(bào)告將首先對(duì)視頻時(shí)序定位進(jìn)行展開闡述，并介紹若干具有啟發(fā)意義的視頻時(shí)序定位工作，最后對(duì)未來(lái)的研究方向與目標(biāo)進(jìn)行討論與展望。

報(bào)告4：視頻人體行為理解：方法與數(shù)據(jù)

講座人介紹：

王利民，南京大學(xué)教授，博導(dǎo)。2011年在南京大學(xué)獲得學(xué)士學(xué)位，2015在香港中文大學(xué)獲得博士學(xué)位，2015年至2018在蘇黎世聯(lián)邦理工學(xué)院（ETH Zurich）從事博士后研究工作。研究方向?yàn)橛?jì)算機(jī)視覺與深度學(xué)習(xí)，具體關(guān)注視頻理解和動(dòng)作識(shí)別。在國(guó)際重要期刊（IJCV/T-PAMI等）和會(huì)議（CVPR/ICCV等）發(fā)表學(xué)術(shù)論文40余篇，根據(jù)Google Scholar統(tǒng)計(jì)，論文被引用10000余次，H-index 32。提出的時(shí)序分段網(wǎng)絡(luò)（TSN）獲得2016 ActivityNet比賽冠軍，該技術(shù)已經(jīng)成為動(dòng)作識(shí)別領(lǐng)域的基準(zhǔn)方法。獲得獎(jiǎng)勵(lì)：江蘇省優(yōu)秀本科畢設(shè)團(tuán)隊(duì)獎(jiǎng)（2012）、吳文俊人工智能科技進(jìn)步二等獎(jiǎng)（2019）、廣東省技術(shù)發(fā)明一等獎(jiǎng)（2019）、世界人工智能大會(huì)青年優(yōu)秀論文獎(jiǎng)（2020）等。

講座內(nèi)容：

視頻理解已經(jīng)成為人工智能研究的熱點(diǎn)和難點(diǎn)，其中人體動(dòng)作識(shí)別已經(jīng)成為視頻理解領(lǐng)域的關(guān)鍵技術(shù)之一。有效的視頻表征技術(shù)和高效的時(shí)空檢測(cè)框架，是人體動(dòng)作識(shí)別研究的難點(diǎn)。在本次講座中，我們主要介紹南京大學(xué)媒體計(jì)算組（MCG)在視頻人體動(dòng)作理解方面的系列工作，具體包括視頻動(dòng)作的表征方法和檢測(cè)框架。針對(duì)視頻短時(shí)運(yùn)動(dòng)的表征與建模，我們提出了高效和動(dòng)態(tài)的時(shí)序建模模塊（TEINet，TAM，TDN), 在速度效率和建模精度方面取得較好的效果；針對(duì)動(dòng)作時(shí)空檢測(cè)，我們提出了一種面錨框的時(shí)空管道檢測(cè)器（MOC)和端到端檢測(cè)框架（OEEDet），在基準(zhǔn)數(shù)據(jù)集取得了較好的效果；最后將介紹我們?cè)趧?dòng)作檢測(cè)方面數(shù)據(jù)集工作，我們提出一個(gè)面向多人運(yùn)動(dòng)場(chǎng)景的時(shí)空動(dòng)作檢測(cè)數(shù)據(jù)集（MultiSports），該數(shù)據(jù)集收集了近3000多段長(zhǎng)視頻，精細(xì)標(biāo)定了4種體育運(yùn)動(dòng)場(chǎng)景中60多種復(fù)雜動(dòng)作，對(duì)視頻時(shí)空動(dòng)作檢測(cè)提出了新的挑戰(zhàn)。最后將總結(jié)和展望視頻人體行為理解的發(fā)展趨勢(shì)。