案例分享：融合高光譜成像與深度學(xué)習(xí)，追蹤三文魚之源

在該研究中，高光譜成像技術(shù)（HSI）主要應(yīng)用于三文魚地理來源溯源及真實性檢測。通過分析光譜和紋理數(shù)據(jù)，結(jié)合深度學(xué)習(xí)與數(shù)據(jù)融合策略，HSI成功實現(xiàn)了不同產(chǎn)地三文魚的精準(zhǔn)分類，并有效檢測出摻假現(xiàn)象，為水產(chǎn)品真實性鑒定提供了快速、無損且高效的解決方案。此外，研究開發(fā)了一種基于HSI數(shù)據(jù)的智能云平臺，實現(xiàn)了實時分類，展示了該技術(shù)在食品溯源中的實際應(yīng)用潛力和擴(kuò)展性。這些成果凸顯了HSI在食品質(zhì)量檢測與多維數(shù)據(jù)分析領(lǐng)域的廣泛前景。

背景：

三文魚因其富含氨基酸、蛋白質(zhì)、不飽和脂肪酸等營養(yǎng)成分，在全球備受歡迎。然而，由于不同地區(qū)的地理環(huán)境和生長條件存在差異，不同產(chǎn)地的三文魚質(zhì)量和價格差異顯著，這使得其地理來源成為潛在的欺詐目標(biāo)。傳統(tǒng)的三文魚產(chǎn)地識別方法多依賴于對外觀（形狀、紋理和顏色）的人工觀察，但這種方法效率低下且耗時耗力。目前，農(nóng)產(chǎn)品溯源領(lǐng)域常用的方法包括穩(wěn)定同位素分析、感應(yīng)耦合等離子體質(zhì)譜法和多元素分析，但這些方法通常存在實驗復(fù)雜、成本高昂以及對樣品造成不可逆損傷等問題。因此，亟需探索一種快速、準(zhǔn)確且無損的三文魚地理來源識別方法。

高光譜成像（HSI）是一種快速且無損的檢測技術(shù)，能夠結(jié)合光譜和圖像數(shù)據(jù)進(jìn)行樣本分類，具有較高的分辨率和魯棒性。本研究基于HSI技術(shù)結(jié)合信息融合策略與深度學(xué)習(xí)模型，旨在解決三文魚的地理來源溯源問題，為市場穩(wěn)定和食品安全提供技術(shù)支持。

實驗設(shè)計

1.1材料與方法

本研究中四種新鮮的三文魚樣本來自中國的劉家峽地區(qū)、法羅群島的Bakkafrost以及成都通威三文魚有限公司。這些三文魚在捕獲后立即被去內(nèi)臟、放血并冷凍，使用無菌刀具去除頭部、尾部、皮膚和骨骼進(jìn)行處理。然后，每種三文魚被切成500份，每份尺寸為40×50×15 mm，重量為40±5 g。

本研究中，三文魚片的高光譜圖像是使用江蘇雙利合譜科技有限公司的“Gaia”高光譜分選機(jī)獲取。該系統(tǒng)包括一個Image-λ “Spectrum”系列高光譜相機(jī)（Image-λ-V10E-PS），兩套200W的鎢鹵燈光源，一個電動控制的移動平臺?！癎aia”高光譜分選機(jī)的光譜范圍從388-1036 nm，光譜分辨率為2.8 nm，每個像素點共有256個波段。在實驗過程中，每種三文魚獲得了500張高光譜圖像。在采集樣本之前分別獲取高光譜圖像的黑白幀，以便對高光譜圖像進(jìn)行黑白校正。使用分析軟處理收集到的高光譜圖像以提取ROI獲取各樣本平均光譜值，采用二階統(tǒng)計方法從樣本中提取紋理信息。

為了從光譜數(shù)據(jù)中去除噪聲并防止數(shù)據(jù)失真，本實驗采用了Savitzky-Golay平滑作為一種預(yù)處理方法，基于一系列實驗和經(jīng)驗考慮，將窗口大小設(shè)置為17。在本研究中，采用了LightGBM和GBDT算法來消除冗余和無關(guān)信息以提高模型效果。然后對集成機(jī)器學(xué)習(xí)模型（隨機(jī)森林、LightGBM和GBDT）、CNN-BiGRU深度學(xué)習(xí)模型、深度學(xué)習(xí)模型（MSADBO、CNN和BiGRU）三種模型結(jié)果進(jìn)行對比，得出*優(yōu)模型。同時，設(shè)計了一個自建的物聯(lián)網(wǎng)云平臺，以實現(xiàn)對不同三文魚地理來源的實時檢測。

1.2.結(jié)果

（1）不同類別三文魚片的光譜特性

使用HSI獲取了包括挪威三文魚、法羅群島三文魚、淡水彩虹鱒魚和智利三文魚四個類別三文魚樣本的光譜。圖1展示了這四種三文魚類別的平均光譜，可以觀察到這四種三文魚類別的整體光譜趨勢大致相似，但反射率值有所不同。然而，在大多數(shù)情況下，僅憑視覺是無法準(zhǔn)確區(qū)分三文魚類別的。因此，進(jìn)行有效的波段分析以提取相關(guān)信息，用于分類模型是必要的。

圖1. 四類三文魚的平均光譜

此外，還識別出幾個與不同官能團(tuán)相對應(yīng)的常見吸收峰。在可見光至近紅外光譜范圍（400-1000 nm）內(nèi)，光譜顯示出明顯的峰值和谷值，觀察到的吸收信息主要與樣本中有機(jī)大分子官能團(tuán)的基本振動相關(guān)（例如，C-H、N-H、O-H和S-H）。在可見光區(qū)域（400-760 nm），在450 nm左右觀察到一個顯著的吸收峰，歸因于肌紅蛋白和總色素的吸收。在650-700 nm，觀察到高反射率，反映了三文魚的紅色光譜特征。在近紅外區(qū)域（700-1000 nm），在760 nm出現(xiàn)吸收峰，對應(yīng)于O-H伸縮振動的第三泛音。此外，在980 nm觀察到輕微的下降，對應(yīng)于O-H伸縮振動的第二泛音。這些觀察表明，樣本中光譜反射率的變化可以歸因于它們化學(xué)性質(zhì)的變化。換句話說，不同品種的三文魚由于化學(xué)性質(zhì)的差異而表現(xiàn)出不同的反射率?？傊?00-1000 nm可以表征三文魚肉質(zhì)的特性，為后續(xù)三文魚來源的追溯提供了理論基礎(chǔ)。

（2）特征變量貢獻(xiàn)分析

在全波段建模計算中，LGB和GBDT模型始終產(chǎn)生*穩(wěn)定的結(jié)果。因此，本研究僅通過LGB和GBDT模型選擇重要波長進(jìn)行分類。LGB和GBDT算法被用來對光譜和紋理融合模型的2133個變量進(jìn)行特征選擇，每個算法提取的前30個貢獻(xiàn)最大的特征變量被分別用于分析（見圖2）。對特征變量重要性的分析顯示，兩個模型的光譜特征變量更集中于650 nm，而紋理特征更集中于400-450 nm和700-800 nm的單波段灰度圖像。特別值得注意的是，在640-670 nm的光譜區(qū)域觀察到最高的貢獻(xiàn)率。從圖1可以看出，這些光譜區(qū)域主要與色素、蛋白質(zhì)和水分有關(guān)，導(dǎo)致三文魚片中高反射率，并突出了三文魚的光譜特性。

圖2.特征重要性分析結(jié)果：（a） LGB模型TOP30特征變量貢獻(xiàn)；（b） GBDT模型TOP30特征變量貢獻(xiàn)

（3）光譜建模分析

使用237個連續(xù)波段的光譜數(shù)據(jù)和傳統(tǒng)機(jī)器學(xué)習(xí)（ML）算法建立了三文魚溯源模型。數(shù)據(jù)預(yù)處理采用了SG平滑方法，窗口點數(shù)設(shè)置為17。利用LGB、RF、GBDT和STACK四種監(jiān)督模式識別方法對三文魚的地理來源進(jìn)行了區(qū)分。預(yù)測結(jié)果如圖3所示。

圖3.光譜模型的模擬結(jié)果。（a）原始數(shù)據(jù)ML算法的譜模型結(jié)果；（b）原始數(shù)據(jù)深度學(xué)習(xí)算法的光譜建模結(jié)果；（c）SG平滑后ML算法的光譜建模結(jié)果；（d）SG平滑算法的譜模型結(jié)果后深度學(xué)習(xí)算法的譜模型結(jié)果

從模型結(jié)果可以看出，傳統(tǒng)的ML模型、集成學(xué)習(xí)模型和深度學(xué)習(xí)模型在測試集上的分類準(zhǔn)確率表現(xiàn)出令人滿意的穩(wěn)定性，結(jié)果保持在87%到93%之間。此外，經(jīng)過SG平滑處理后，所有模型的準(zhǔn)確率都有所提高，在訓(xùn)練集上提高了0.1%到3.2%，在測試集上提高了0.2%到4.3%。這一現(xiàn)象可以歸因于SG平滑有效地糾正了原始光譜中的曲率和偏移。另一方面，在CNN-BiGRU模型中，改進(jìn)的正弦算法注入了強(qiáng)大的全局探索和局部開發(fā)能力，顯著提升了模型的分類性能，整體準(zhǔn)確率比優(yōu)化前提高了0.5%到4.3%。值得注意的是，在基于光譜數(shù)據(jù)的ML模型結(jié)果中，集成學(xué)習(xí)模型表現(xiàn)突出，以訓(xùn)練集95.8%和測試集93%的準(zhǔn)確率展示了最佳的分類性能。然而，與ML模型相比，深度學(xué)習(xí)模型在基于光譜數(shù)據(jù)的分類任務(wù)中表現(xiàn)不佳。這是因為深度學(xué)習(xí)需要大量數(shù)據(jù)進(jìn)行訓(xùn)練，但在處理低維數(shù)據(jù)時更容易出現(xiàn)過擬合。

（4）紋理模型分析

本研究基于8個選定的特征紋理信息建立了三文魚的紋理分類模型。為了消除光譜數(shù)據(jù)維度的差異，特征紋理信息經(jīng)過了歸一化預(yù)處理，以確保數(shù)據(jù)的一致性。采用與光譜模型相同的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)方法區(qū)分三文魚的地理來源。如圖4所示，經(jīng)過歸一化處理后，所有模型的準(zhǔn)確率都有所提高，訓(xùn)練集上的提高范圍從0.7%到13.1%，測試集上的提高范圍從2.7%到15.1%。這種提高可以歸因于高維高光譜圖像中熵評估的復(fù)雜性和無序性，因此歸一化紋理信息有助于減少熵對分類結(jié)果的影響。

圖4.紋理模型的建模結(jié)果：（a）原始數(shù)據(jù)的ML算法紋理模型結(jié)果；（b）原始數(shù)據(jù)深度學(xué)習(xí)算法紋理建模結(jié)果；（c）歸一化預(yù)處理后的ML算法紋理模型結(jié)果；（d）歸一化預(yù)處理后的深度學(xué)習(xí)算法紋理模型結(jié)果

從ML的角度來看，集成學(xué)習(xí)模型繼續(xù)保持著強(qiáng)大的性能。在歸一化紋理數(shù)據(jù)的分類結(jié)果中，訓(xùn)練集和測試集的準(zhǔn)確率分別提高了1.3%至3.1%和0.8%至3.9%。盡管歸一化處理顯著增強(qiáng)了分類結(jié)果的準(zhǔn)確率，但傳統(tǒng)的ML方法在提取紋理信息等數(shù)據(jù)類型的特征時仍面臨一些挑戰(zhàn)。相比之下，CNN-BiGRU模型在處理紋理信息方面的分類性能遠(yuǎn)高于傳統(tǒng)ML模型。值得強(qiáng)調(diào)的是，改進(jìn)的DBO-CNN-BiGRU模型進(jìn)一步提高了分類準(zhǔn)確率。訓(xùn)練集和測試集的分類準(zhǔn)確率分別達(dá)到了92.8%和92.5%，這展示了深度學(xué)習(xí)模型在處理高維和復(fù)雜數(shù)據(jù)，尤其是紋理數(shù)據(jù)方面的*越性能。

（5）融合模型分析

本研究采用了一種信息融合策略，整合光譜和紋理數(shù)據(jù)構(gòu)建了一個全面的數(shù)據(jù)模型?？傮w而言，融合模型展現(xiàn)出了令人滿意的分類性能。每個模型都顯示出一定程度的改進(jìn)，這表明利用光譜和紋理兩方面的信息有助于捕捉不同三文魚類別之間的差異。在這些模型中，MSADBO-BiGRU取得了最佳結(jié)果，在訓(xùn)練集和測試集上的準(zhǔn)確率分別為99.6%和99.5%，與優(yōu)化前的DBO-BiGRU相比，測試集準(zhǔn)確率提高了0.7%。分類結(jié)果如圖5所示。法羅群島三文魚和智利三文魚更容易被混淆，而彩虹鱒魚很少與其他三文魚種類混淆。從傳統(tǒng)ML模型的結(jié)果來看，LGB、RF、GBDT和STACK模型的分類性能同樣令人滿意，測試集準(zhǔn)確率分別為94.3%、96%、93.3%和96.3%。值得注意的是，與單獨的ML模型相比，集成學(xué)習(xí)模型一貫展現(xiàn)出穩(wěn)定性，并表現(xiàn)出最佳的分類性能，測試集準(zhǔn)確率提高了0.3%到3%。此外，為了進(jìn)一步提升模型性能并降低數(shù)據(jù)維度和冗余，使用了GBDT和LGB算法進(jìn)行特征變量選擇，最終結(jié)果如表1所示。結(jié)果表明，與全變量建模相比，ML模型的準(zhǔn)確率提高了0.2%至0.7%，這表明GBDT和LGB算法成功地選擇了關(guān)鍵變量，從而減少了HSI數(shù)據(jù)中的共線性和冗余問題。相比之下，STACK模型取得了最佳結(jié)果，在訓(xùn)練集和測試集上的準(zhǔn)確率分別為97.4%和96.3%?？傊?，整合光譜和紋理數(shù)據(jù)的信息融合策略的分類性能優(yōu)于使用單一光譜或紋理數(shù)據(jù)的*優(yōu)模型。

圖5.融合模型的建模結(jié)果：（a）ML算法的融合建模結(jié)果；（b）深度學(xué)習(xí)算法的融合建模結(jié)果；（c）LGB的混淆矩陣；（d）RF的混淆矩陣；（e）GBDT的混淆矩陣；（f）STACK的混淆矩陣；（g）DBO-CNN-BiGRU的混淆矩陣；（h）MSADBO-CNN-BiGRU的混淆矩陣

（6）深度學(xué)習(xí)互聯(lián)網(wǎng)智能云平臺用于最佳分類結(jié)果可視化

基于本研究，發(fā)現(xiàn)基于HSI技術(shù)的信息融合策略與深度學(xué)習(xí)方法結(jié)合在三文魚溯源方面具有巨大潛力。然而，傳統(tǒng)的模型預(yù)測方法限制了其在實際應(yīng)用中的實時能力和靈活性。此外，對高維數(shù)據(jù)（如光譜和紋理特征）進(jìn)行多次訓(xùn)練迭代不僅耗時，而且增加了模型擴(kuò)展的難度。此外，傳統(tǒng)方法無法實現(xiàn)遠(yuǎn)程訪問，給用戶帶來不便。因此，為了解決這些問題，本研究構(gòu)建了一個基于互聯(lián)網(wǎng)的智能云平臺，用于追蹤三文魚的來源。云平臺的分類結(jié)果如圖6所示。基于深度學(xué)習(xí)模型，借助光譜和紋理的融合數(shù)據(jù)，平臺利用MSADBO-CNN-BiGRU算法處理融合數(shù)據(jù)，以實現(xiàn)三文魚的溯源。在平臺投入使用之前，將實驗中的所有2000個融合數(shù)據(jù)（分為70%的訓(xùn)練集和30%的測試集）輸入深度學(xué)習(xí)模型進(jìn)行訓(xùn)練。盡管本研究開發(fā)的智能云平臺可能尚未達(dá)到工業(yè)標(biāo)準(zhǔn)，評估其功能的可靠性和穩(wěn)定性是必要的。結(jié)果如表2所示，證明了平臺的平穩(wěn)運行。此外，為了驗證平臺在應(yīng)用中的可靠性，通過上傳包含融合數(shù)據(jù)的文件到平臺進(jìn)行測試，可以獲得如圖8所示的四種三文魚來源區(qū)分結(jié)果，平臺的分類準(zhǔn)確率超過99%，這表明三文魚溯源檢測系統(tǒng)在三文魚地理來源區(qū)分方面具有很大的應(yīng)用潛力。

圖6.云平臺分類的結(jié)果。（a）法魯三文魚。（b）虹鱒。（c）挪威三文魚。（d）智利三文魚

結(jié)論

由于不同產(chǎn)地之間價值差異顯著，三文魚經(jīng)常成為欺詐行為的目標(biāo)，因此精準(zhǔn)識別其產(chǎn)地具有重要意義。為了解決這一問題，本研究構(gòu)建了一種結(jié)合HSI信息融合策略與深度學(xué)習(xí)方法的模型，旨在快速、準(zhǔn)確地追溯三文魚的地理來源。研究結(jié)果如下：（1）在比較的四種不同的ML模型中，STACK模型表現(xiàn)出較高的分類穩(wěn)定性和準(zhǔn)確性；（2）深度學(xué)習(xí)在處理高維和復(fù)雜數(shù)據(jù)方面表現(xiàn)出色，其分類性能顯著超過ML模型，測試集準(zhǔn)確率高達(dá)99.5%，MSADBO-CNN-BiGRU模型測試集準(zhǔn)確率比優(yōu)化前的CNN模型提高了0.8%至7%；（3）信息融合的結(jié)果表明，與僅使用單一光譜和紋理模型相比，分類準(zhǔn)確率有所提高，尤其是融合模型的性能遠(yuǎn)遠(yuǎn)超過紋理模型，表明融合模型展現(xiàn)出最佳性能?？傊狙芯砍晒Φ貙⑸疃葘W(xué)習(xí)方法與基于HSI的信息融合策略相結(jié)合，實現(xiàn)了三文魚產(chǎn)地的精準(zhǔn)追溯，為市場穩(wěn)定和食品安全提供了保障。同時，該研究為未來基于HSI信息融合策略與深度學(xué)習(xí)方法的農(nóng)產(chǎn)品快速、無損追溯研究提供了技術(shù)支持。

推薦產(chǎn)品

“Gaia”高光譜分選機(jī)

作者簡介

通訊作者：許麗佳，四川農(nóng)業(yè)大學(xué)機(jī)電學(xué)院，博導(dǎo)

參考文獻(xiàn)

論文引用自一區(qū)文章：Zhiyong Zou , Dongyu Yuan , Qingsong Wu , Qianlong Wang, Menghua Li ,Jiangbo Zhen , Chong Xu , Shutao Yin , Qiang Cui , Man Zhou , Lijia Xu , Salmon origin traceability based on hyperspectral imaging data fusion strategy and improved deep learning method , Food Control 166 （2024） 110740