本日學(xué)術(shù)分享為2020年中國(guó)科學(xué)院大學(xué)的科研人員合作發(fā)表于IEEE IEEE Transactions on Industrial Informatics的研究工作。

論文題目： A Deep Nonnegative Matrix Factorization Approach via Autoencoder for Nonlinear Fault Detection

論文作者：Zelin Ren, Wensheng Zhang, Zhizhong Zhang

論文來源：《IEEE Transactions on Industrial Informatics》，IF：12.3，中科院JCR分區(qū)1區(qū)TOP期刊，DOI：10.1109/TII.2019.2951011

這篇文章主要考慮了故障檢測(cè)的潛在復(fù)雜性，提出了一種基于非負(fù)矩陣分解（NMF）的非線性方法。在自動(dòng)編碼器的推動(dòng)下，本文首先利用輸入數(shù)據(jù)來學(xué)習(xí)適當(dāng)?shù)姆蔷€性映射函數(shù)，將原始空間轉(zhuǎn)換為高維特征空間。然后，根據(jù)NMF的分解規(guī)律，將學(xué)習(xí)到的特征空間劃分為兩個(gè)子空間，并在這些子空間中適當(dāng)設(shè)計(jì)兩個(gè)統(tǒng)計(jì)量進(jìn)行非線性故障檢測(cè)。所建立的方法，即深度非負(fù)矩陣分解（DNMF），由編碼器模塊、NMF模塊和解碼器模塊三部分實(shí)現(xiàn)。與傳統(tǒng)使用隱式和預(yù)定核的基于NMF的非線性方法不同，DNMF提供了一種新的非線性方案，通過深度自編碼器框架應(yīng)用于NMF，并自動(dòng)實(shí)現(xiàn)輸入數(shù)據(jù)的非線性映射。此外，DNMF突破了非負(fù)輸入的限制，極大地?cái)U(kuò)展了NMF的應(yīng)用范圍。采用田納西州伊士曼工藝作為工業(yè)基準(zhǔn)，驗(yàn)證了所提方法的有效性。（ 對(duì)于自編碼器或者非負(fù)矩陣分解的研究，此篇論文具有借鑒性，推薦有需要的同學(xué)進(jìn)行精讀學(xué)習(xí) ）

02

文獻(xiàn)背景

近年來，隨著工業(yè)體系的快速發(fā)展，現(xiàn)代工業(yè)正朝著大規(guī)模、復(fù)雜的方向發(fā)展。為了確保安全可靠的運(yùn)行，工業(yè)過程監(jiān)控和故障檢測(cè)是高度需要的，最近得到了廣泛的研究。由于工業(yè)系統(tǒng)的復(fù)雜性，實(shí)現(xiàn)基于模型的方法很困難，甚至不可能。大數(shù)據(jù)時(shí)代，存儲(chǔ)容量越來越大，算力不斷提高。僅基于傳感器測(cè)量數(shù)據(jù)的數(shù)據(jù)驅(qū)動(dòng)方法已受到廣泛關(guān)注。多變量統(tǒng)計(jì)過程監(jiān)測(cè)（ MSPM ）作為一類數(shù)據(jù)驅(qū)動(dòng)方法已被廣泛研究并成功應(yīng)用于實(shí)際工業(yè)系統(tǒng)的過程監(jiān)測(cè)。 (Ding 對(duì)數(shù)據(jù)驅(qū)動(dòng)的故障診斷方法進(jìn)行了全面總結(jié)，并詳細(xì)描述了幾種經(jīng)典的 MSPM 技術(shù)，如主成分分析（ PCA ）、偏最小二乘法和典型變量分析 ) 。上述方法屬于線性方法 ; 一些非線性算法被提出并得到有效應(yīng)用。

在眾多數(shù)據(jù)驅(qū)動(dòng)方法中，非負(fù)矩陣分解（NMF）是一種經(jīng)典且實(shí)用的降維方法，最初由Paatero和Tapper開發(fā)。NMF旨在通過局部系統(tǒng)特征的非負(fù)組合來獲得整體系統(tǒng)特性。最近，它受到了很多關(guān)注。它可以捕獲數(shù)據(jù)的全局結(jié)構(gòu)信息，比圖像分類的局部信息更健壯。基于NMF的方法具有較強(qiáng)的特征提取能力，在MSPM框架下已成功應(yīng)用于過程監(jiān)控和故障檢測(cè)。然而，傳統(tǒng)的NMF方法存在一些局限性。作為線性的，它很難應(yīng)用于實(shí)際的非線性情況。它允許基數(shù)據(jù)之間的高階依賴關(guān)系。對(duì)于KNMF，其基矩陣是通過核函數(shù)映射輸入數(shù)據(jù)獲得的高維特征的線性組合。利用核函數(shù)開發(fā)非線性改進(jìn)的NMF方法已成為非線性故障檢測(cè)的趨勢(shì)。但是，內(nèi)核函數(shù)的形式需要預(yù)先確定，其參數(shù)很難選擇。這些缺點(diǎn)給這些內(nèi)核方法的應(yīng)用帶來了瓶頸。(為了解決這個(gè)問題，一些研究人員考慮通過使用神經(jīng)網(wǎng)絡(luò)方法代替核方法來實(shí)現(xiàn)線性方法的非線性變換，例如一類神經(jīng)網(wǎng)絡(luò))NMF的另一個(gè)主要限制是它需要非負(fù)輸入數(shù)據(jù)，而某些傳感器測(cè)量數(shù)據(jù)可能無法滿足此要求，例如溫度，壓力等。此外，提出了廣義NMF來緩解原始數(shù)據(jù)的非負(fù)限制。然而，上述解決NMF非負(fù)輸入的方法是線性的，可能不適用于復(fù)雜的非線性過程。即使非線性化，它們也需要采用核方法。因此，共同克服NMF的兩大局限性在研究中是不夠的，開發(fā)非負(fù)非線性NMF挑戰(zhàn)性。

如今，深度自編碼器（AE）作為一種流行的深度學(xué)習(xí)技術(shù)，被廣泛應(yīng)用于圖像處理、自然語言處理和相關(guān)領(lǐng)域。由于深度AE精通非線性過程的特征提取和分類，因此已成功應(yīng)用于故障檢測(cè)領(lǐng)域。然而，這些方法中的大多數(shù)在兩種情況下無法處理故障檢測(cè)：1）當(dāng)系統(tǒng)具有未知類型的故障時(shí)和/或2）當(dāng)無法獲得故障數(shù)據(jù)時(shí)。因此，采用MSPM框架，在故障檢測(cè)中引入了改進(jìn)的AEs方法和相應(yīng)的設(shè)計(jì)統(tǒng)計(jì)量，如收縮AE、去噪AE和變分AE。這些方法具有良好的檢測(cè)效果，但其目的不是改進(jìn)基于多元統(tǒng)計(jì)分析的現(xiàn)有方法。

這篇文章的主要貢獻(xiàn)總結(jié)如下1) 提出了一種數(shù)據(jù)驅(qū)動(dòng)的非線性工業(yè)系統(tǒng)故障檢測(cè)方法。提出的DNMF使用深度AE框架為NMF提供了新的解決方案。2) DNMF可以利用工業(yè)數(shù)據(jù)自動(dòng)學(xué)習(xí)適當(dāng)?shù)姆蔷€性映射函數(shù)，這是通過可學(xué)習(xí)的網(wǎng)絡(luò)結(jié)構(gòu)實(shí)現(xiàn)的，這與內(nèi)核功能隱含且需要預(yù)先確定參數(shù)的核方法不同。3) DNMF中提出的非線性框架具有很強(qiáng)的泛化性和很大的靈活性，可以推廣到MSPM的其他線性方法。4) 盡管DNMF是一種基于NMF的方法，但它不需要輸入數(shù)據(jù)來滿足非負(fù)條件，從而大大擴(kuò)展了應(yīng)用范圍。

03

研究方法

所提出的DNMF是一種利用DCAE實(shí)現(xiàn)的新型NMF非線性方法。圖1顯示了整個(gè)網(wǎng)絡(luò)結(jié)構(gòu)，大致由三個(gè)模塊組成：編碼器模塊、NMF模塊和解碼器模塊。編碼器和解碼器模塊主要實(shí)現(xiàn)原始空間的非線性變換，而NMF模塊則是實(shí)現(xiàn)網(wǎng)絡(luò)中NMF的功能。

DNMF投影原始數(shù)據(jù)進(jìn)入高維特征空間F獲取向量通過使用非線性映射函數(shù)，得到

由CNN組成的編碼器網(wǎng)絡(luò)實(shí)現(xiàn)。在此CNN中，最后一個(gè)卷積層的輸出特征圖被展平為向量。由于NMF模塊要 求輸入為非負(fù)數(shù)，因此可以通過激活函數(shù)整流線性單元（ReLU）激活獲得的矢量

ReLU可以保證特征的所有元素都是非負(fù)的。由此，得到的高維特征向量從輸入數(shù)據(jù)投影是非負(fù)的，可以是 NMF 模塊的輸入。編碼器網(wǎng)絡(luò)結(jié)構(gòu)后，可以從輸入數(shù)據(jù)中自動(dòng)學(xué)習(xí)映射函數(shù)。通過這種方式，編碼器根據(jù)需要實(shí)現(xiàn)非線性操作。

兩個(gè)矩陣W和H的NMF通過梯度下降法以交替迭代方式求解。在這里，神經(jīng)網(wǎng)絡(luò)還執(zhí)行梯度下降法，通過反向傳播收斂到局部?jī)?yōu)解。因此，構(gòu)建神經(jīng)網(wǎng)絡(luò)來實(shí)現(xiàn)NMF算法是合適的。因此，該模塊的輸出是重建的值與的損失函數(shù)約束下?lián)p失1，定義為

通過這種方式，NMF 模塊實(shí)現(xiàn)了NMF算法

解碼器的目標(biāo)是重新映射回到原始輸入空間，其中輸入數(shù)據(jù)x將在損失函數(shù)約束中重建損失2

解碼器網(wǎng)絡(luò)結(jié)構(gòu)與編碼器網(wǎng)絡(luò)結(jié)構(gòu)幾乎對(duì)稱，因此可以將其視為編碼器的逆過程，有效地實(shí)現(xiàn)了無監(jiān)督學(xué)習(xí)。通過上面對(duì)DNMF框架的分析，整個(gè)網(wǎng)絡(luò)的損失函數(shù)可以表示為：

得益于DNMF精心設(shè)計(jì)的網(wǎng)絡(luò)結(jié)構(gòu)，非線性框架可以進(jìn)一步轉(zhuǎn)移到MSPM的其他線性方法中。更具體地說，首先將線性方法（例如，PCA和局部保持投影（LPP）轉(zhuǎn)換為可訓(xùn)練模塊，該模塊基于其相應(yīng)的優(yōu)化問題。然后，將NMF模塊替換為設(shè)計(jì)的模塊，并將其與編碼器和解碼器模塊組合在一起。最后，結(jié)合設(shè)計(jì)整個(gè)網(wǎng)絡(luò)的損失函數(shù)損失1,損失2，以及與線性方法相關(guān)的損失。（這里僅僅介紹了主要的算法，有想做數(shù)據(jù)分析方向的可下載文章，詳細(xì)學(xué)習(xí)其優(yōu)化算法）

04

實(shí)驗(yàn)驗(yàn)證

TE工藝是美國(guó)田納西州公司首先開發(fā)的工業(yè)過程的真實(shí)模擬基準(zhǔn)。它已廣泛應(yīng)用于各種控制和過程監(jiān)控方法的模擬和驗(yàn)證。TE工藝的結(jié)構(gòu)流程圖如圖2所示。由于TE過程沒有可用的數(shù)學(xué)模型，因此使用傳感器測(cè)量的數(shù)據(jù)設(shè)計(jì)了故障檢測(cè)方法。這個(gè)過程中的變量由兩個(gè)變量塊組成：一個(gè)是XMV塊，包含11個(gè)操縱變量，另一個(gè)是XMEAS塊，它包含41個(gè)測(cè)量變量，包括22個(gè)過程變量和19個(gè)分析變量。在此模擬中，選擇22個(gè)過程變量[XMEAS（1-22）]和11個(gè)操縱變量[XMV（1-11）]作為輸入數(shù)據(jù)變量，其中我們刪除了分析變量。此外，基準(zhǔn)測(cè)試的更多信息可以參考，MATLAB代碼可以從在線下載。

通過對(duì)上述三個(gè)故障的詳細(xì)分析，PNMF的性能甚至比其線性版本的NMF還要差，而另一種內(nèi)核方法KNMF具有更好的檢測(cè)能力。內(nèi)核的選擇似乎在性能中起著關(guān)鍵作用。DNMF作為一種新提出的故障檢測(cè)算法，比線性方法和核方法具有更令人滿意的故障檢測(cè)能力，主要是因?yàn)樗軌蜃詣?dòng)學(xué)習(xí)適當(dāng)?shù)姆蔷€性映射函數(shù)。

從另一個(gè)角度來看，故障檢測(cè)任務(wù)可以看作是一個(gè)特殊的二元分類問題。從以上三個(gè)故障的圖結(jié)果來看，我們的方法在正常數(shù)據(jù)和故障數(shù)據(jù)之間的分類裕度大于其他方法;這表明我們的方法比其他方法具有更高的分類精度。

總結(jié)

在本文中，在這篇文中，提出了一種新型的改進(jìn)非線性NMF方法DNMF。首先采用深度神經(jīng)網(wǎng)絡(luò)自動(dòng)查找當(dāng)前輸入系統(tǒng)數(shù)據(jù)的非線性映射函數(shù)。然后，將原始輸入數(shù)據(jù)投影到非負(fù)高維特征空間中。NMF算法是由神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)的。同時(shí)，將特征空間劃分為FS和RS，并設(shè)計(jì)了兩個(gè)監(jiān)控統(tǒng)計(jì)量，H2和SPE。此外，還使用KDE方法來確定它們的閾值。最后，將所提方法用于TE過程中的故障檢測(cè)，并驗(yàn)證了其有效性。（提出的方法主要是提出一個(gè)基于神經(jīng)網(wǎng)絡(luò)的非線性NMF框架。通過簡(jiǎn)單的修改，它可以進(jìn)一步推廣到MSPM的其他線性方法）