混合現(xiàn)實技術如何幫助失智癥患者增強感知能力？

失智癥影響著全球數(shù)百萬人，并對個人參與日常活動的能力構成挑戰(zhàn)。積極的生活對于減輕癡呆癥的神經(jīng)退行性影響至關重要，但失智癥患者往往難以獨立發(fā)起和完成任務。

現(xiàn)代技術提供了有希望的解決方案，幫助他們參與積極生活活動，并通過提示提高他們的生活質(zhì)量。其中，混合現(xiàn)實（Mixed Reality, MR）技術在改善失智癥患者即時感知和行動能力方面的有著巨大潛力。

本文研究旨在更好地理解失智癥患者在混合現(xiàn)實環(huán)境中成功和正確感知提示的方式。通過觀察失智癥患者與四種混合現(xiàn)實技術的互動，探究他們對不同類型提示（視覺、聲音）的感知和反應，以期為混合現(xiàn)實技術在失智癥輔助技術中的應用提供科學依據(jù)（Desai et al., 2024）。

失智癥患者該如何重建生活？

失智癥是一種全球性健康問題，據(jù)阿爾茨海默病國際組織統(tǒng)計，全球有超過5500萬人患有失智癥，預計到2050年這一數(shù)字將增至1.39億。失智癥早期以輕度認知障礙和認知功能中度下降為特征，表現(xiàn)為工作表現(xiàn)下降、記憶力減退、注意力不集中、解決問題和管理復雜任務困難等。這些癥狀進一步惡化，會影響日常溝通和活動。

而積極生活可以通過促進失智癥患者與更大社區(qū)的聯(lián)系，并幫助他們管理身心健康來實現(xiàn)。這些活動應結(jié)構化和計劃化，以匹配失智癥患者的需求、能力和病程。例如，日常活動應包括購物、烹飪和家務等；輕度失智癥患者可參與輕度家務、整理、洗滌和準備冷食；晚期失智癥患者則可參與享受食物和飲料、味覺和嗅覺等活動。

混合現(xiàn)實技術的輔助潛力

神經(jīng)心理康復方法通過適應環(huán)境和失智癥患者的行為來提供提示。例如，看護者常用膠帶封住微波爐上的數(shù)字鍵，以便失智癥患者知道按哪些數(shù)字來加熱食物。認知假肢方法則側(cè)重于增強患者的能力，而不是由看護者或技術代替患者完成任務。

而隨著傳感器和可穿戴技術的發(fā)展，混合現(xiàn)實技術（Mixed Reality, MR）有望變得更加普及。該技術通過在虛擬和物理世界之間提供沉浸式體驗，為失智癥患者提供了可擴展的輔助工具，并可根據(jù)不同應用、行為和情境進行編程，從而提高其可擴展性。主要通過增強現(xiàn)實（AR）和增強虛擬（AV）兩種方式，將虛擬元素融入物理世界或?qū)⑽锢韺ο笕谌胩摂M世界。

通過理解失智癥患者如何感知和響應混合現(xiàn)實技術中的提示，可以為設計更加用戶友好、直觀的輔助技術提供指導，從而提高失智癥患者的生活質(zhì)量。

在混合現(xiàn)實中與不同提示的交互行為

本研究采用設計研究（Research through Design, RtD）方法，通過觀察研究了解失智癥患者與混合現(xiàn)實技術的互動。

共招募22名患有阿爾茨海默病（AD）和輕度認知障礙（MCI）的失智癥患者，通過蒙特利爾認知評估（MoCA）工具評估其認知功能，然后患者分別在四天與四種混合現(xiàn)實技術，即AR技術（Microsoft HoloLens、Apple Arkit；圖1、2）和AV技術（Tangible Play Osmo、Microsoft Xbox Kinect；圖3、4）進行互動游戲。

圖1 飛行松鼠游戲                                        

圖2  搭積木游戲

圖3 七巧板游戲                        

圖4 保齡球游戲

采用游戲作為與失智癥患者互動的方式，因為游戲能夠創(chuàng)造響應性環(huán)境，允許參與者自然地與技術互動。游戲的選擇考慮了失智癥患者的興趣和能力，確保他們在不受時間限制的情況下自由探索。

整個過程中使用諾達思的行為觀察分析系統(tǒng)（The Observer XT）進行行為觀察分析，系統(tǒng)地編碼和分析視頻中的特定行為，從而量化失智癥患者在與混合現(xiàn)實技術互動時不同類型提示的感知和響應情況。

研究者對視頻記錄進行了主題分析，主要關注技術呈現(xiàn)的提示和被試的動作和手勢。通過計算每種提示類型被成功感知的概率，評估不同類型提示的有效性。

首先，研究者編制了編碼方案（表1），主要包括技術呈現(xiàn)的提示（視覺提示、聲音提示和研究者干預）和被試的動作/手勢（言語響應、身體動作、凝視、手勢和觸摸屏交互）。隨后在The Observer XT中以此標記出技術呈現(xiàn)的提示和被試的響應動作，最后用以計算失智癥患者成功感知提示的次數(shù)，以及每種提示類型被成功感知的概率。

表1

不同提示類型的即時感知概率

結(jié)果分析如下（圖5）：

（一）聽覺提示的感知

人類語音作為提示最容易被感知，因為它是一種自然的交互方式，與看護者和家庭成員的指令相似，而卡通人物的聲音和音調(diào)音色則較難理解。目前，虛擬AI助手在失智癥患者家中已被試用，并顯示出有效性。然而，未來研究需評估這些技術中對話的質(zhì)量和性質(zhì)。

（二）視覺提示的感知

符號和圖形提示最容易被失智癥患者感知，而動畫符號和圖形則較難理解。形狀提示的感知成功率適中，而閃爍的視覺元素則最難被感知。文本提示非常有效，但需避免使用復雜語言和隱喻。

（三）動作與手勢

非語言形式的交互（如手勢）比需要語言和語義認知處理的交互更有效。對失智癥患者動作的反饋提示具有很高的感知成功率，有助于減少認知負荷。失智癥患者能夠成功地使用不熟悉的手勢與混合現(xiàn)實技術互動。

圖5 成功感知提示的概率聚類條形圖

提高感知率的設計指南

本研究發(fā)現(xiàn)，人類語音、圖形符號和文本提示是失智癥患者在混合現(xiàn)實環(huán)境中最容易成功感知的提示類型。反饋提示對于提高感知成功率至關重要。這些發(fā)現(xiàn)為設計失智癥患者的混合現(xiàn)實提示提供了科學依據(jù)。

基于研究結(jié)果，提出以下設計建議：

•  使用人類語音：作為主要的提示方式，因為它自然且易于理解。

• 簡化視覺提示：避免使用復雜的圖形和動畫，使用直觀且易于理解的符號和圖形。

• 提供反饋：對失智癥患者的每個動作提供反饋，以減少認知負荷并提高感知成功率。

• 考慮非語言交互：利用手勢等非語言形式的交互，以提高失智癥患者的參與度和自主性。

未來研究可進一步評估不同提示組合的效果，并可以根據(jù)失智癥患者的個體差異（如認知障礙程度、興趣愛好）開發(fā)個性化的提示系統(tǒng)。此外，可以進行長期效果評估，進一步探究輔助技術對失智癥患者生活質(zhì)量、認知功能和自主性的長期影響。

參考文獻

Desai, S., Mutsuddi, R., & Astell, A. J. (2024). Enhancing prompt perception in dementia: a comparative study of mixed reality cue modalities. Frontiers in Sports and Active Living, 6, 1419263.

關注諾達思公眾號，聯(lián)系我們獲取更多產(chǎn)品信息及學術文章！