999精品,丝袜综合,大陆老熟妇性,中国老女人AV,亚洲精品国产第一区二区三区

速讀:特斯聯(lián)AI研發(fā)突破:用于視覺任務(wù)中無監(jiān)督域自適應(yīng)的類別對比
發(fā)布時間:2022-06-15 10:07:11 文章來源:
當(dāng)前位置: 主頁 > 資訊 > 國內(nèi) > 正文

深度神經(jīng)網(wǎng)絡(luò)(DeepNeuralNetworks,DNNs)由于跨域不匹配(cross-domain mismatch),通常在新域表現(xiàn)不佳。而無監(jiān)督域自適應(yīng)(UDA)技術(shù)則可通過利用未標(biāo)記的目標(biāo)域樣本緩解跨域不匹配問題。近日,特斯聯(lián)科技集團(tuán)首席科學(xué)家、特斯聯(lián)國際總裁邵嶺博士及合作者們提出了基于類別對比的新穎方法Category Contrast(CaCo),并公布了所取得的最新研究成果。該方法在視覺UDA任務(wù)的實例判別之上引入了語義先驗。該研究成果(標(biāo)題為:Category Contrast for Unsupervised Domain Adaptation in Visual Tasks)已被今年的AI頂會CVPR(國際計算機(jī)視覺與模式識別會議)收錄。

通過將實例對比學(xué)習(xí)視為字典查詢操作,團(tuán)隊利用源域和目標(biāo)域的樣本構(gòu)建了一個類別感知(category-aware)和域混合(domain-mixed)的字典,其中每個目標(biāo)樣本會根據(jù)源域樣本的類別先驗被分配一個(偽)類別標(biāo)簽,并為UDA提供了相應(yīng)的類別對比損失(category contrastive loss)。由此鼓勵學(xué)習(xí)完全契合UDA目標(biāo)的,具有類別判別力但域不變的(category-discriminative yet domain-invariant)表征:同類別樣本(無論是來自于源域或者目標(biāo)域)的距離被拉得更近的同時不同類別樣本的距離會被推遠(yuǎn)。在多種視覺任務(wù)(例如分割、分類和檢測)中進(jìn)行的大量實驗表明CaCo實現(xiàn)了與當(dāng)前最先進(jìn)的算法相比更卓越的性能。此外,實驗也顯示CaCo可以作為現(xiàn)有UDA方法的補充,并可推廣到其它的學(xué)習(xí)方法中,如無監(jiān)督模型適應(yīng)、開放/半開放集域自適應(yīng)等。

無監(jiān)督域自適應(yīng)緩解跨域不匹配

無監(jiān)督域自適應(yīng)(UDA)的目的在于通過利用未標(biāo)記的目標(biāo)域樣本減少輕跨域不匹配問題的影響。為了實現(xiàn)這一目的,科研工作者們針對目標(biāo)域樣本設(shè)計了不同的無監(jiān)督訓(xùn)練目標(biāo)函數(shù),以在目標(biāo)域中訓(xùn)練出一個性能良好的模型?,F(xiàn)有的無監(jiān)督損失可以大致分為三類1)對抗性損失函數(shù)(adversarial loss):迫使模型學(xué)習(xí)類似源域的目標(biāo)表征;2)圖像轉(zhuǎn)換損失函數(shù)(image translation loss),將源圖像轉(zhuǎn)換為具有類似目標(biāo)的樣式和外觀;3)自訓(xùn)練損失(self-training loss),用置信度較高的偽標(biāo)記樣本迭代地重新訓(xùn)練網(wǎng)絡(luò)。

無監(jiān)督表征學(xué)習(xí)解決了一個相關(guān)問題,即無監(jiān)督網(wǎng)絡(luò)預(yù)訓(xùn)練,旨在從未標(biāo)記的數(shù)據(jù)中學(xué)習(xí)有判別力的嵌入。近年來,實例對比學(xué)習(xí)在無監(jiān)督表征學(xué)習(xí)方面取得了重大進(jìn)展。盡管動機(jī)不同,實例對比方法可以被看作是一種字典查詢式任務(wù),通過將編碼查詢(encoded query)q與由多個編碼鍵(encoded keys)k構(gòu)成的字典匹配來訓(xùn)練視覺編碼器:編碼查詢應(yīng)與編碼的正鍵(encoded positive keys)相似,而與編碼的負(fù)鍵(encoded negative keys)相異。由于沒有可用于未標(biāo)記數(shù)據(jù)的標(biāo)簽,正鍵通常是查詢樣本的隨機(jī)增強(qiáng)版本,而所有其他樣本都被視為負(fù)鍵。

在這樣的背景下,邵嶺博士及團(tuán)隊探究了UDA中實例對比的概念。在把對比學(xué)習(xí)看作字典查詢?nèi)蝿?wù)的基礎(chǔ)上,團(tuán)隊假設(shè)UDA字典應(yīng)該是類別感知的(category-aware),并且應(yīng)該與來自源域和目標(biāo)域的鍵進(jìn)行域混合(domain-mixed)。直觀來說,一個包含類別平衡鍵(category-balanced keys)的可感知類別的字典可以促進(jìn)學(xué)習(xí)類別判別力(category-discriminative)但類別無偏的(category-unbiased)表征,而來自源域和目標(biāo)域的鍵將允許學(xué)習(xí)兩個域內(nèi)和跨域的不變表征,這兩點都與UDA的目標(biāo)相符。

以類別對比方法構(gòu)建具有類別感知和域混合的字典

團(tuán)隊提出,用類別對比方法(CaCo)來構(gòu)建具有類別感知和域混合的字典,并為UDA提供相應(yīng)的對比損失函數(shù)。如圖1所示,該字典包含在類別和域中均勻采樣的鍵,其中每個目標(biāo)鍵都有一個預(yù)測的偽類別。以說明性字典K={


(相關(guān)資料圖)

}1≤c≤C,1≤m≤M為例。每個類別c都含有M個鍵而每個域含有(C×M)/2個鍵。

圖1

圖 1中,團(tuán)隊提出的類別對比方法通過類別對比損失函數(shù)

將查詢q(來自未標(biāo)記的目標(biāo)樣本

)與由鍵組成的字典相匹配,來訓(xùn)練一個無監(jiān)督域自適應(yīng)編碼器。字典鍵來自源域

(圖中紅字,帶標(biāo)簽)和目標(biāo)域

(圖中藍(lán)字,帶偽標(biāo)簽)的域混合,這樣可以學(xué)習(xí)域內(nèi)和跨域的不變表征。這些鍵也是類別感知和類別平衡的,這樣可以學(xué)習(xí)類別具有類別區(qū)分力的但無偏的表征。注意類別平衡指每個查詢q與字典中的所有鍵(在損失計算中)相比較,這些字典鍵均勻分布在所有的數(shù)據(jù)類別中,緩解了數(shù)據(jù)不平衡。

因此,網(wǎng)絡(luò)學(xué)習(xí)將努力最小化目標(biāo)查詢和字典鍵之間的類別對比損失

:相同類別的樣本被拉近而不同類別的樣本被推遠(yuǎn)。這自然會產(chǎn)生完全符合UDA目標(biāo)的,具有類別判別力的但域不變的表征。

在類別感知和域混合字典以及類別對比損失函數(shù)的應(yīng)用下,所提出的類別對比通過三個理想的特征來解決UDA挑戰(zhàn):1)利用類別感知字典設(shè)計,同時最小化類別內(nèi)變化并最大化類別間距離;2)依靠同時包含源域樣本和目標(biāo)域樣本的混合域字典設(shè)計同時實現(xiàn)了域間和域內(nèi)對齊;3)依靠類別平衡字典設(shè)計有效緩解了數(shù)據(jù)平衡問題,使得在學(xué)習(xí)過程中均勻計算所有類別的對比損失。

大量實驗結(jié)果表明類別對比方法展現(xiàn)優(yōu)異性能

團(tuán)隊分享了其實驗結(jié)果,分為以下幾個維度。

泛化能力:團(tuán)隊通過評估CaCo在多個基礎(chǔ)視覺UDA應(yīng)用,即分割、檢測和分類,中的性能效果來研究它的泛化能力。實驗結(jié)果顯示CaCo始終展現(xiàn)出了與當(dāng)前最先進(jìn)的方法相當(dāng)?shù)男阅堋?/p>

互補能力:團(tuán)隊探究了CaCo與現(xiàn)有的UDA方法相結(jié)合的協(xié)同優(yōu)勢。這表明當(dāng)加入CaCo時,可以在不同的視覺任務(wù)中一致地改進(jìn)所有現(xiàn)有方法。

與現(xiàn)有的無監(jiān)督表征學(xué)習(xí)方法對比:團(tuán)隊將CaCo與無監(jiān)督表征學(xué)習(xí)方法用于UDA任務(wù)以進(jìn)行對比。大多數(shù)現(xiàn)有的方法通過某些前置任務(wù)實現(xiàn)了無監(jiān)督表征學(xué)習(xí),比如說實例對比學(xué)習(xí)、圖像塊排序(patch ordering)、旋轉(zhuǎn)預(yù)測和降噪/上下文/著色自編碼器。在UDA任務(wù)GTA→Cityscapes上進(jìn)行的實驗顯示了現(xiàn)有的無監(jiān)督表征學(xué)習(xí)應(yīng)用于UDA任務(wù)時效果不理想。主要原因是這些方法是針對學(xué)習(xí)可用于判別實例的表征(instance-discriminative representations)而設(shè)計的,并沒有考慮到語義先驗和域間隙(domain gaps)。CaCo也被用于進(jìn)行無監(jiān)督學(xué)習(xí),應(yīng)用于UDA時更有效,很大程度上是因其學(xué)習(xí)了具有類別判別力且域不變的表征,而這些表征對于多種視覺UDA任務(wù)是至關(guān)重要的。

參數(shù)研究:參數(shù)M(在提出的CaCo中)控制了分類別字典的長度(或者說大小)。團(tuán)隊將M從50逐漸調(diào)至150,對其進(jìn)行了研究。在UDA分割任務(wù)GTA-to-Cityscapes上進(jìn)行的實驗顯示了M在50至150之間進(jìn)行調(diào)整時,對UDA的影響并不明顯。

不同學(xué)習(xí)類型中的泛化:團(tuán)隊從學(xué)習(xí)類型的角度研究了所提出的CaCo的可擴(kuò)展性。具體而言,團(tuán)隊把CaCo應(yīng)用于多種涉及無標(biāo)簽數(shù)據(jù)學(xué)習(xí)和某些語義先驗的任務(wù),如無監(jiān)督模型自適應(yīng)和半開放集/開放集UDA,并對其進(jìn)行評估。結(jié)果顯示CaCo的可以穩(wěn)健展現(xiàn)與當(dāng)前最先進(jìn)的方法相當(dāng)?shù)男阅堋?/p>

類別感知字典:團(tuán)隊研究了提出的類別感知字典的3種變體設(shè)計:1)為所有的鍵分配同樣的溫度參數(shù);2)(對于源數(shù)據(jù)和目標(biāo)數(shù)據(jù))使用兩個獨立的字典而不是一個單獨的域混合字典;3)使用內(nèi)存庫或當(dāng)前小批量(current mini-batch)來更新字典。實驗證實了設(shè)計的優(yōu)越性。

總體而言,邵嶺博士及團(tuán)隊提出了一種類別對比方法CaCo,該方法引入了通用的類別對比損失函數(shù)(generic category contrastive loss),可有效用于多種視覺UDA任務(wù)。團(tuán)隊用來自源域和目標(biāo)域的樣本構(gòu)建了一個語義感知字典,域中的每一個目標(biāo)樣本都根據(jù)源域樣本的類別先驗被分配了一個(偽)類別標(biāo)簽。這使得(目標(biāo)查詢和類別級的字典間的)類別對比學(xué)習(xí)可以學(xué)習(xí)具有類別判別力且域不變的表征:同類別的樣本(無論是來自于源域或者目標(biāo)域)會被拉近而不同類別的樣本被同時推遠(yuǎn)。在多種視覺任務(wù)(例如分割、分類和檢測)中進(jìn)行的大量實驗顯示單獨使用CaCo就可以展現(xiàn)出與當(dāng)前最先進(jìn)的方法相當(dāng)?shù)男阅?。另外,實驗也顯示CaCo可以與現(xiàn)有的UDA方法互補,也可以外推至其他的學(xué)習(xí)類型,如無監(jiān)督模型自適應(yīng)、開放/半開放集域自適應(yīng)等。

標(biāo)簽: 損失函數(shù) 最先進(jìn)的 學(xué)習(xí)類型

最近更新