復(fù)雜系統(tǒng)安全性和可靠性實(shí)驗(yàn)室|從帶有噪聲標(biāo)簽的數(shù)據(jù)中提取困難且確信樣本

論文題目： Me-Momentum: Extracting Hard Confident Examples from Noisily Labeled Data

論文作者：Yingbin Bai, Tongliang Liu

論文來(lái)源：ICCV-2021，中國(guó)計(jì)算機(jī)協(xié)會(huì)A類會(huì)議，DOI：10.1109/ICCV48922.2021.00918

接近決策邊界的樣本——作者稱之為難樣本，對(duì)于塑造準(zhǔn)確分類器至關(guān)重要。但從訓(xùn)練數(shù)據(jù)中提取困難確信樣本仍是較為困難的問(wèn)題。在這篇文章中，作者提出了一種深度學(xué)習(xí)范式來(lái)解決這個(gè)問(wèn)題，利用了深度神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng)來(lái)篩選樣本。作者借鑒了物理學(xué)中的動(dòng)量概念來(lái)提取包含非簡(jiǎn)單模式并且與不準(zhǔn)確標(biāo)記的樣本糾纏在一起的困難確信樣本。作者的想法是算法前一輪提取的確信樣本可以用來(lái)學(xué)習(xí)一個(gè)更好的分類器，而更好的分類器也助于識(shí)別更困難的確信樣本。作者將這種方法稱為“記憶動(dòng)量"（MeMomentum）。在基準(zhǔn)模擬和真實(shí)世界的標(biāo)簽噪聲數(shù)據(jù)上的實(shí)證結(jié)果說(shuō)明了Me-Momentum提取難確信樣本的有效性，利用記憶動(dòng)量方法可以使模型具有更好的分類性能。

02

文獻(xiàn)背景

實(shí)際應(yīng)用中，帶標(biāo)簽噪聲的數(shù)據(jù)集是普遍存在的。如果不加注意，標(biāo)簽噪聲將降低學(xué)習(xí)算法的性能。帶有噪聲標(biāo)簽的學(xué)習(xí)旨在減少標(biāo)簽噪聲的副作用，因此已經(jīng)成為機(jī)器學(xué)習(xí)中的一個(gè)重要主題。

提取具有干凈標(biāo)簽的樣本——確信樣本是一種不依賴噪聲轉(zhuǎn)移矩陣的方法，與原始的帶有噪聲的訓(xùn)練數(shù)據(jù)相比，提取出的樣本噪聲較少，因此分類器具有更好的性能。在只有噪聲數(shù)據(jù)的情況下，先進(jìn)的方法利用了記憶效應(yīng)來(lái)提取確信樣本。深度神經(jīng)網(wǎng)絡(luò)首先會(huì)擬合具有干凈標(biāo)簽的訓(xùn)練數(shù)據(jù)，然后逐漸擬合具有不正確標(biāo)簽的樣本。但現(xiàn)有方法都沒(méi)有研究如何從噪聲數(shù)據(jù)中提取接近決策邊界的難樣本。

在這篇文章中，通過(guò)交替更新確信樣本并完善分類器，作者提出了一種深度學(xué)習(xí)范式，能夠從訓(xùn)練數(shù)據(jù)中提取困難確信樣本，從而實(shí)現(xiàn)更好的分類性能。作者的想法類似于物理學(xué)中動(dòng)量的運(yùn)用，將分類器看作是在假設(shè)空間中移動(dòng)的粒子，從確信的數(shù)據(jù)中獲得加速度。通過(guò)正確利用之前提取的確信樣本，可以實(shí)現(xiàn)具有更好性能的分類器。這類似于優(yōu)化中使用的動(dòng)量技巧，之前的梯度信息可以用來(lái)跳出局部最小值并實(shí)現(xiàn)快速收斂率。在高層次上，所提出的方法建立在深度神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng)和更好的確信樣本將導(dǎo)致更好的分類器以及更好的分類器將識(shí)別出更好的確信樣本（和困難的確信樣本）的直覺(jué)之上。因此，所提出的方法被稱為記憶動(dòng)量（Me-Momentum）。

03

研究方法

作者提出的提取困難置信樣本并提高分類性能的記憶動(dòng)量方法，在高層次上，通過(guò)交替更新確信樣本和完善分類器，Me-Momentum實(shí)現(xiàn)了一個(gè)正循環(huán)，即通過(guò)的確信樣本獲得更好的分類器，更好的分類器又反過(guò)來(lái)篩選出更好的確信樣本。Me-Momentum有內(nèi)外兩個(gè)循環(huán)。在內(nèi)循環(huán)中交替更新確信樣本和分類器。在外循環(huán)重新初始化分類器，同時(shí)保持先前提取的確信樣本，避免因內(nèi)循環(huán)在先前分類器基礎(chǔ)上繼續(xù)訓(xùn)練而對(duì)于分類器初始化的嚴(yán)重依賴。

算法流程:

算法第一步，為正循環(huán)初始化一個(gè)用于初步選擇確信樣本的分類器，使用了早期停止的策略避免網(wǎng)絡(luò)擬合錯(cuò)誤樣本，這種初始化利用了神經(jīng)網(wǎng)絡(luò)首先擬合干凈數(shù)據(jù)的記憶效應(yīng)。（有關(guān)記憶效應(yīng)相關(guān)內(nèi)容可以查看文獻(xiàn)（Devansh Arpit, 2017），其中講述了神經(jīng)網(wǎng)絡(luò)可以通過(guò)記憶強(qiáng)行擬合被隨機(jī)標(biāo)注的數(shù)據(jù)。（Zhang, 2017）講述了網(wǎng)絡(luò)總是優(yōu)先擬合更為簡(jiǎn)單的真實(shí)模式，隨后才是記憶更為復(fù)雜的噪聲模式）

算法第二步，由于初始化的分類器是利用早期停止和記憶效應(yīng)獲得的，所以分類器主要擬合的是確信樣本，因此可以認(rèn)為標(biāo)簽與分類器預(yù)測(cè)結(jié)果相同的樣本為確信樣本。

算法第三步，利用先前的分類器的權(quán)重初始化網(wǎng)絡(luò)，同時(shí)用上一步篩選出的確信樣本訓(xùn)練分類器，這就實(shí)現(xiàn)了使用更好的訓(xùn)練樣本來(lái)獲得更好的分類器。

算法第四步，反復(fù)執(zhí)行二三步，使不斷篩選確信樣本和優(yōu)化分類器過(guò)程在驗(yàn)證精度不再提升時(shí)跳出。

算法第五步，利用隨機(jī)初始化而非使用先前的權(quán)重初始化網(wǎng)絡(luò)，使用先前篩選出的確信樣本訓(xùn)練分類器，防止始終使用先前分類器的權(quán)重導(dǎo)致結(jié)果嚴(yán)重依賴初始化結(jié)果。

算法第六步，反復(fù)執(zhí)行二到五步，在第五步中隨機(jī)初始化的網(wǎng)絡(luò)在訓(xùn)練后的驗(yàn)證精度不再提升時(shí)結(jié)束整個(gè)流程。

04

實(shí)驗(yàn)驗(yàn)證

在本節(jié)中，作者進(jìn)行實(shí)驗(yàn)來(lái)展示所提出的Me-Momentum在MNIST、CIFAR10、CIFAR100和真實(shí)世界標(biāo)簽噪聲數(shù)據(jù)集 Clothing1M上的有效性。在MNIST和CIFAR上，作者生成了類別相關(guān)和實(shí)例相關(guān)的標(biāo)簽噪聲（相較于需要標(biāo)簽噪聲與類別相關(guān)的噪聲轉(zhuǎn)移矩陣方法，Me-Momentum可以處理實(shí)例相關(guān)噪聲） ，并可視化提取的困難確信樣本，從而證明了Me-Momentum始終優(yōu)于基線方法。

如圖 1 所示，提取的確信樣本的可視化。第一列和第三列是內(nèi)循環(huán)第一次提取的確信數(shù)據(jù)；而第二列和第四列是外循環(huán)中提取的確信數(shù)據(jù)。綠色點(diǎn)表示第一輪中選定的數(shù)據(jù)。藍(lán)色和紅色點(diǎn)分別表示中間輪和最后一輪中新提取的數(shù)據(jù)。

在人工添加了不同程度的類相關(guān)噪聲和實(shí)例相關(guān)噪聲的 MNIST, CIFAR10,CIFAR100 上不同方法 分類準(zhǔn)確率的均值和標(biāo)準(zhǔn)差 如表 1、 表 2、 表 3 所示。

在 Clothing1M 數(shù)據(jù)集上，作者將 Me-Momentum 與基線方法進(jìn)行比較，結(jié)果如表 4 所示。 “clean" 和 “noisy" 分別表示驗(yàn)證數(shù)據(jù)集是干凈的和帶有噪聲的?？梢杂^察到 Me-Momentum 在帶有噪聲驗(yàn)證數(shù)據(jù)上表現(xiàn)良好，超過(guò)了許多使用干凈驗(yàn)證數(shù)據(jù)的基線方法。為了公平比較，作者也使用 了 干凈驗(yàn)證數(shù)據(jù)來(lái)驗(yàn)證作者的方法，在測(cè)試準(zhǔn)確率方面取得了最高的 75.18% ，比 T-revision 高出 1% 、比 Joint Optim 高出 2.95% 。需要注意的是， Forward 和 T-revision 需要 5 萬(wàn)個(gè)干凈數(shù)據(jù)來(lái)估計(jì) 噪聲轉(zhuǎn)移 矩陣，而 Me-Momentum 在訓(xùn)練過(guò)程中不需要任何干凈數(shù)據(jù)。此外，為了展示 Me-Momentum 的魯棒性，作者使用了從頭開(kāi)始訓(xùn)練的 ResNet-50 進(jìn)行實(shí)驗(yàn)，它取得了第二高的準(zhǔn)確率。

總結(jié)

這篇文章中，作者提出了一種名為Me-Momentum的方法，通過(guò)利用深度神經(jīng)網(wǎng)絡(luò)的記憶效應(yīng)，能夠從帶有噪聲標(biāo)簽的數(shù)據(jù)中提取困難的確信樣本。作者通過(guò)分析提取樣本的統(tǒng)計(jì)數(shù)據(jù)、可視化困難確信樣本以及將其分類性能與先進(jìn)的基線方法進(jìn)行比較，從經(jīng)驗(yàn)上驗(yàn)證了其有效性