多模態(tài)人因感知手環(huán)

系統(tǒng)構(gòu)成

“多模態(tài)人因感知手環(huán)"通常涉及到四個(gè)模塊： “多模態(tài)人因感知終端"、 “邊緣計(jì)算終端"、 “實(shí)驗(yàn)操作端"以及“科研云平臺(tái)"。

根據(jù)不同需求配備不同的模塊。

-“多模態(tài)人因感知終端"（情緒手環(huán)）

多模態(tài)人因感知手環(huán)支持脈搏、皮膚電阻、皮膚溫度、運(yùn)動(dòng)加速度、角速度等生理和行為數(shù)據(jù)，以及環(huán)境數(shù)據(jù)的采集，并將數(shù)據(jù)傳輸?shù)健斑吘売?jì)算終端"

脈搏傳感器：采樣頻率 100Hz

皮電傳感器：采樣頻率 4Hz，交流激勵(lì)源頻率 24Hz

皮溫傳感器：采樣頻率 1Hz，測(cè)量范圍 0~50°C，測(cè)量精度 ±1°C

運(yùn)動(dòng)傳感器三：軸加速度和三軸角速度，采樣頻率 20Hz

環(huán)境傳感器：溫度、濕度、氣壓三種傳感器，采樣頻率 1Hz

-“邊緣計(jì)算終端"

“邊緣計(jì)算終端"實(shí)時(shí)接收“多模態(tài)人因感知終端"的原始數(shù)據(jù)，實(shí)時(shí)對(duì)數(shù)據(jù)進(jìn)行預(yù)處理與特征計(jì)算，并將原始數(shù)據(jù)與計(jì)算后的特征數(shù)據(jù)傳輸至“科研云平臺(tái)"

設(shè)備綁定：對(duì)邊緣計(jì)算終端與多模態(tài)人因感知終端進(jìn)行綁定

設(shè)備狀態(tài)：記錄人因感知終端的連接狀態(tài)、采集時(shí)長(zhǎng)、藍(lán)牙信號(hào)強(qiáng)度

數(shù)據(jù)監(jiān)控：針對(duì)脈搏、皮膚電阻、運(yùn)動(dòng)加速度、皮溫等數(shù)據(jù)的實(shí)時(shí)監(jiān)控

數(shù)據(jù)分析：可實(shí)時(shí)對(duì)多種生理和行為數(shù)據(jù)進(jìn)行預(yù)處理與特征計(jì)算

-“實(shí)驗(yàn)操作端"

“實(shí)驗(yàn)操作端"實(shí)時(shí)監(jiān)控“邊緣計(jì)算終端"的設(shè)備電量與網(wǎng)絡(luò)連接狀態(tài)，支持實(shí)驗(yàn)過(guò)程中關(guān)鍵事件的同步標(biāo)記，并將標(biāo)記數(shù)據(jù)傳輸至“科研云平臺(tái)"

實(shí)驗(yàn)控制：支持采集設(shè)備的結(jié)束控制

設(shè)備監(jiān)控：實(shí)時(shí)查看設(shè)備電量、采集狀態(tài)、采集時(shí)長(zhǎng)的監(jiān)控

場(chǎng)景維護(hù)：支持實(shí)驗(yàn)場(chǎng)景的維護(hù)，可修改實(shí)驗(yàn)名稱(chēng)及事件標(biāo)記名稱(chēng)

主動(dòng)事件標(biāo)記：實(shí)驗(yàn)過(guò)程中支持對(duì)設(shè)備進(jìn)行主動(dòng)標(biāo)記，以及標(biāo)記點(diǎn)的查看與編輯

自動(dòng)事件標(biāo)記：提供 Python 、Matlab、Eprime 程序的API 接口

-“科研云平臺(tái)"

科研人員登錄“科研云平臺(tái)"下載原始數(shù)據(jù)、特征數(shù)據(jù)與事件標(biāo)記，或提交定制化數(shù)據(jù)分析需求，對(duì)原始數(shù)據(jù)進(jìn)行定制化數(shù)據(jù)處理與特征提取分析

用戶(hù)驗(yàn)證：不同實(shí)驗(yàn)員擁有獨(dú)立賬戶(hù)，保證數(shù)據(jù)隔離

設(shè)備查看：支持管理員名下設(shè)備的查看

數(shù)據(jù)下載：支持多種生理和行為原始數(shù)據(jù)的批量下載

特征分析：支持不少于80種對(duì)情緒狀態(tài)敏感的先驗(yàn)特征的計(jì)算和批量下載

可定制項(xiàng)：支持外接設(shè)備采集的腦電、眼動(dòng)軌跡、外周生理數(shù)據(jù)的批量下載，支持經(jīng)驗(yàn)取樣APP采集的問(wèn)卷、錄音、手機(jī)使用數(shù)據(jù)的批量下載

產(chǎn)品優(yōu)勢(shì)

- 結(jié)合超掃描技術(shù)（Hyper-Scanning），支持同時(shí)記錄參與同一認(rèn)知活動(dòng)的多人外周生理活動(dòng)，分析生理活動(dòng)同步及其與行為指標(biāo)間的關(guān)系及其機(jī)制

- 結(jié)合經(jīng)驗(yàn)取樣法或生態(tài)瞬時(shí)評(píng)估法（ESM/EMA），支持開(kāi)展各類(lèi)縱向數(shù)據(jù)、移動(dòng)式數(shù)據(jù)收集和研究，數(shù)據(jù)采集成本低，評(píng)估客觀、高效，研究結(jié)果具有更高生態(tài)效度

- 提供豐富的具有先驗(yàn)知識(shí)的特征指標(biāo)的計(jì)算，支持原始數(shù)據(jù)和特征數(shù)據(jù)的下載，支持原始數(shù)據(jù)和特征數(shù)據(jù)的接口開(kāi)發(fā)

- 集成一體化設(shè)計(jì)、體積小巧、方便攜帶，適用于缺網(wǎng)、缺電、高噪等作業(yè)環(huán)境下使用

應(yīng)用案例

-群體共享情緒識(shí)別研究

     本研究采用超掃描技術(shù)，以中科院心理所建立的標(biāo)準(zhǔn)華語(yǔ)情緒電影庫(kù)為實(shí)驗(yàn)素材，誘發(fā)4種特定的情緒狀態(tài)。研究者招募了 144 名大學(xué)生被試，6 人一組進(jìn)行群體觀影實(shí)驗(yàn)，同時(shí)佩戴手環(huán)記錄 6 人的生理、行為和環(huán)境數(shù)據(jù)。

    研究人員從脈搏和皮膚電阻信號(hào)中提取了 80 多個(gè)具有心理學(xué)先驗(yàn)知識(shí)的時(shí)頻域特征，并輸入到支持向量機(jī)、隨機(jī)森林、深度置信網(wǎng)絡(luò)、長(zhǎng)短時(shí)記憶網(wǎng)絡(luò)等模型中進(jìn)行四分類(lèi)學(xué)習(xí)。

-玩電腦游戲時(shí)的用戶(hù)情感體驗(yàn)研究

    本研究以男性大學(xué)生為研究群體，要求他們?cè)陔娔X上玩“五子棋"游戲時(shí)全程佩戴手環(huán)，記錄他們的生理數(shù)據(jù)；用戶(hù)在游戲過(guò)程中的主觀感受（如無(wú)聊、有趣、興奮）在游戲結(jié)束后進(jìn)行反饋。

    研究結(jié)果發(fā)現(xiàn)，用戶(hù)在朋友一起游戲時(shí)的皮膚電導(dǎo)反應(yīng)（SCR）明顯高于與電腦對(duì)打時(shí)的皮膚電導(dǎo)反應(yīng)，且自我報(bào)告在朋友對(duì)打時(shí)覺(jué)得更加有趣和興奮。相關(guān)分析的結(jié)果也發(fā)現(xiàn)，皮膚電導(dǎo)反應(yīng)與自我報(bào)告的有趣程度正相關(guān)，與挫折感負(fù)相關(guān)。

-皮膚電信號(hào)預(yù)測(cè)合作行為研究

    本研究讓兩個(gè)被試在電腦上完成“囚徒困境"的實(shí)驗(yàn)范式，同步記錄兩個(gè)人的心率、皮膚電阻、眼動(dòng)軌跡、肌電等生理和行為數(shù)據(jù)。實(shí)驗(yàn)條件分為能看到彼此和看不到彼此兩個(gè)條件，通過(guò)該實(shí)驗(yàn)研究合作過(guò)程中的生理變化情況。

    研究發(fā)現(xiàn)，在被試能看到彼此的條件下，心率和皮膚電導(dǎo)水平（SCL）開(kāi)始變得同步，且這種正向的同步聯(lián)系會(huì)變得更強(qiáng)。SCL能夠預(yù)測(cè)兩人的成功合作行為。

-基于HR和EDA信號(hào)預(yù)測(cè)學(xué)生學(xué)業(yè)成績(jī)研究

   本研究使用可穿戴設(shè)備，記錄學(xué)生在真實(shí)語(yǔ)文和數(shù)學(xué)課堂中的皮膚電阻和心率數(shù)據(jù)，探討這些生理數(shù)據(jù)與學(xué)生學(xué)業(yè)成績(jī)的關(guān)系。

   本研究共招募了 100 名七年級(jí)的學(xué)生，連續(xù)記錄了他們?cè)?10 天語(yǔ)文和數(shù)學(xué)課堂中的生理數(shù)據(jù)。

    研究結(jié)果發(fā)現(xiàn)，學(xué)生課堂過(guò)程中的皮膚電導(dǎo)水平（SCL）和皮膚電導(dǎo)反應(yīng)（SCR）與其學(xué)業(yè)成績(jī)存在顯著的相關(guān)。

-中科院心理所2021年啟動(dòng)抑郁癥長(zhǎng)期追蹤項(xiàng)目“心花計(jì)劃"

    針對(duì)抑郁癥的追蹤研究，項(xiàng)目周期10年，涵蓋抑郁癥患者和亞臨床抑郁狀態(tài)兩個(gè)群體。

    旨在采用腦影像、可穿戴設(shè)備等多種研究手段，建立抑郁癥精準(zhǔn)診斷和分型的客觀標(biāo)記，探索基于中國(guó)文化的新型心理干預(yù)技術(shù)，并發(fā)展藥物之外的無(wú)創(chuàng)神經(jīng)調(diào)控新療法。

    采用經(jīng)驗(yàn)采樣法，通過(guò)可穿戴手環(huán)記錄脈搏、皮膚電阻、皮膚溫度、運(yùn)動(dòng)加速度、角速度、睡眠質(zhì)量等數(shù)據(jù)，以及通過(guò)手機(jī)APP采集語(yǔ)音、自陳問(wèn)卷、手機(jī)使用情況等多種數(shù)

-駕駛過(guò)程中駕駛員心理壓力識(shí)別研究

     本實(shí)驗(yàn)采用了 MIT-BIH 數(shù)據(jù)集。該數(shù)據(jù)集通過(guò)可穿戴設(shè)備收集了多個(gè)駕駛員在實(shí)際駕駛過(guò)程中的皮膚電阻、心率等生理數(shù)據(jù)。

    研究人員對(duì)皮膚電阻數(shù)據(jù)進(jìn)行了預(yù)處理、特征提取等一系列規(guī)范化處理后，對(duì)結(jié)果進(jìn)行了統(tǒng)計(jì)檢驗(yàn)。研究結(jié)果發(fā)現(xiàn)，駕駛員在駕駛過(guò)程中的壓力水平可分成三個(gè)等級(jí)，各個(gè)壓力等級(jí)之間存在顯著差異。