臺大90年慶
研究與教學
國際交流
榮耀分享
探索理院
學生訊息
活動報導
人事動態
第38期出刊日:2019.1.4

利用機器學習解譯大腦中理性與感性的競爭

文/ 心理學系 郭柏呈副教授

一、研究背景與目的

我們的大腦無時無刻都在挑戰不可能的任務!為了達成生存或行為目的,大腦得隨時處理外在環境中豐富、不斷變動且源源湧入的資訊,並將與當下作業要求有關的訊息短暫地保留在短期(或工作)記憶當中,進而銜接更進階與複雜的認知處理與運作,如語言、推理、思考與決策等。然而,在從事知覺與記憶作業的過程中,我們常有有力不從心的感覺,好像只能保留有限的資訊,一旦超過心智處理容量的限制,恐怕就會產生記憶錯誤或遺忘。更重要的是我們所知覺與記憶的訊息並不完全是毫無情感的,許多訊息常伴隨著強烈的情緒成份,例如看到蟑螂所產生的恐懼與聽到惡犬狂吠時的驚嚇等,這些日常生活裡的關鍵時刻,都可能啟動大腦中理性與感性的競爭,這些訊息得爭取著在大腦中的居留權。我的研究即是利用當代新興的機器學習(machine learning)分析取向,結合神經科學腦造影研究工具,探索認知與情緒互動的心智運作表徵,解譯大腦中理性與感性的競爭密碼。

外在環境的訊息與刺激不斷地擠進狹小的認知處理系統,為了能有效地短暫維持與機動地因應訊息的變動而更新,短期記憶的表徵恐怕是非常脆弱的。這樣的特性使得個體依賴目的導引注意機制對短期記憶表徵進行調控,排除來自內、外在與作業內容無關刺激的干擾,克服萬難,使脆弱的感知覺訊息表徵得以穩固,讓維持的目標物訊息可以從短期記憶裡的競爭訊息中脫穎而出,個體才可以有效地選擇與當下行為期望相符合的訊息,銜接後續高層次的認知處理與心智歷程。許多心智作業都仰賴個體能依循作業要求與規則,主動地從外在知覺訊息或內在記憶表徵中選擇與作業要求有關的目標刺激,這種以目的導引為基礎的注意力(goal-directed attention)讓我們得從訊息的競爭中,將注意資源優先分配給與作業目標有關的刺激或物體,以進行選擇;同時注意機制也啟動了抑制功能,排除來自干擾刺激的競爭,使目的導引的選擇得以順利完成。我們的大腦透過前額葉皮質指揮用以表徵外在感知覺訊息的神經細胞,藉由不同區域神經細胞間的密切合作,進行選擇與抑制,完成目的導引的心智處理。

另一方面,當處理外在感覺訊息時,個體的知覺系統首先會偵測與辨識刺激的物理特徵,較突顯、明亮、特異或是響亮的刺激通常會自動自發地吸引我們的注意,然而,這種刺激驅動式的注意(stimulus-driven attention)也會受到具有情緒性或威脅性的刺激訊息所啟動,情感系統快速地產生反應,選擇戰或逃的反應,讓個體的從危險的場域中脫身或作出反擊。例如當具有威脅性或恐懼性的刺激訊息經由個體的視聽感官進入大腦後,除了知覺系統的神經細胞需要表徵這些刺激的物理屬性以進行認知評估,刺激的情感訊息也同時經由大腦裡視丘(thalamus)快速地傳送到邊緣系統的杏仁核(amygdala),進而引發情緒的生理反應,這一系列的情感運作歷程也使我們特別容易記得這些情緒性或威脅性的刺激訊息。此時,大腦中理性與感性的互動也隨之展開!

在一系列研究中,我假設大腦為了成功地達成心智作業目的而進行主動的目的導引的選擇與干擾抑制,大腦裡的注意機制讓與當下心智作業相關的訊息具備了更強的競爭優勢;此時如果具有強烈威脅性或恐懼性的情緒刺激成為作業目標時,應該能夠啟動情感系統並增強目標訊息的神經表徵;反之,當情緒刺激不再與作業目的有關時,其競爭效果得以受到認知系統調節,使得威脅性或恐懼性的情緒刺激競爭能力下降,讓與心智作業有關的刺激仍能保有原本的優勢。為了檢驗此一假設,我使用非侵入性神經科學腦造影工具與認知心理學實驗方法,結合機器學習方法對大腦神經訊號進行神經活化型態的分析取向,探討人類大腦中認知系統與情感系統互動的神經機制。這些研究成果展現了大腦中理性與感性的競爭,說明個體面對強烈情緒刺激的增強與挑戰時,能理性地根據作業要求表徵外在訊息,充滿彈性地完成隨之而來的挑戰作業與心智任務。

二、研究工具與方法

為了探索心智與大腦的關係,早期研究者使用觀察法檢驗局部大腦結構損傷病患的認知功能,才能大致推估行為與大腦的關聯性,但是病人腦傷的範圍往往無法控制,這也導致了利用腦損傷與病人進行研究的困難。近年來,非侵入性的腦功能影像技術與資料分析方法快速發展,藉著磁振造影(Magnetic Resonance Imaging,簡稱MRI)與腦電圖儀(Electroencephalogram,簡稱EEG)等腦功能影像工具,讓研究者對於人類心智運作的機制有更深入的認識,也讓我們重新檢視人類學習與認知的理論,進而針對不同發展階段的個體,規劃有效的教育課程、治療與復健方法,或根據不同的使用情境,設計更適用的人機界面與訓練。

腦功能影像工具的出現與發展,使研究者得以從全新的角度觀察個體從事各種認知作業或進行特定心智歷程時,所涉及的大腦功能與區域,腦區內或腦區間神經細胞集團(neural population)的聯結、互動與溝通,以及神經活動與外顯行為間的關係,進而檢驗關於人類心智運作的理論。舉例來說,研究者可以透過功能性磁振造影(簡稱fMRI)的研究方法檢驗特定大腦區域神經活化與心理歷程的關聯性,探討認知歷程的功能區域化,更可以透過精密的訊號處理與統計運算,推估個體進行特定作業時數個腦區間的神經細胞集團相互溝通的功能性聯結。此外,為了貼近外在環境訊息不斷變動與個體內在心智歷程快速變動的特性,研究者更可以使用腦電圖儀量測與心智運作相關的神經生理電訊號,以其具有千分之一秒為單位的絕佳時間解析度,精確地反映出個體進行認知或心智作業時大腦神經隨著時間的動態性變化。

我與同事們在以下的研究中,使用EEG與fMRI等腦功能影像工具,結合當代計算領域的機器學習方法,對神經反應訊號進行活化型態的分析,探討大腦中理性與感性競爭的神經表徵。

三、研究成果與貢獻

對於個體認知與情感系統互動的心智表徵運作,我們提出以下的研究問題:首先,如果情緒刺激作為作業目標,是否能增強大腦對目標訊息的神經表徵?當情緒刺激不再與作業要求有關時,是否仍會對原本理性的認知設定產生更強的競爭,抑或是個體能使用目的導引注意機制,調控雖然與當下心智作業無關,但卻強而有力的威脅或恐懼干擾刺激?大腦中的認知與情感系統是如何進行這樣精密的運作?為了回答這些問題,我們設計了以下的實驗典範:在作業的每個嘗試次開始,研究參與者被要求短暫地記住一個視覺刺激畫面中所包含的兩個記憶刺激項目,一個刺激項目為中性物體,另一個刺激項目為具有情緒性的威脅物體,隨後在短期記憶維持階段呈現反溯線索(retrospective cue)以操控目的導引注意的調節效果,指示研究參與者在接下來出現的反應項目畫面時,對線索所指示的項目進行比對,並針對該目標項目進行有出現過或沒出現過的判斷反應。綜合這一系列實驗的行為表現,我們發現當反溯線索將注意導引至威脅物體的記憶表徵時,相較於導引至中性物體的記憶表徵,個體對於項目進行比對有著較佳的短期記憶表現。

我們首先在EEG研究中展現了大腦alpha頻帶(9-12 Hz)的腦波會受到目的導引注意力與威脅刺激的調節(Kuo, Li, Lin, Hu, & Yeh, 2017),反溯線索在記憶維持階段能有效啟動注意導引與選擇的功能,根據EEG所量測到後頂葉位置alpha頻段的腦波振幅,大約僅須300毫秒就能展現威脅表徵作為短期記憶的作業目標時的競爭選擇優勢(cue-to-threat);然而,當中性物體表徵作為短期記憶的作業目標時(cue-to-neutral),此時則須要700毫秒才能啟動注意導引與選擇。更重要的是,本研究透過機器學習分析方法,計算腦波資料的空間與時間型態相似性(spatiotemporal pattern similarity)(圖一),此一結果發現大腦在記憶維持階段從事注意導引與選擇的心智運作時,後頂葉alpha頻段的腦波在空間與時間型態上的相似程度也會有效提升,且只需要大約200到300毫秒就能重新活化登錄威脅刺激時的訊息表徵。根據這些研究成果,我們推論當導引注意資源到目標項目與進行選擇時,能重新喚醒維持目標刺激短期記憶的神經表徵,而威脅刺激表徵的確展現了更強的競爭力,使時間與空間神經活化型態的相似性增加,也提高了短期記憶表現。

圖一說明:(A) alpha頻段的調節效果;(B)空間與時間型態相似性分析示意與結果

 

雖然透過EEG測量能夠了解威脅性情緒表徵作為短期記憶的作業目標時的競爭優勢,但是大腦中掌管理性系統的前額葉皮質與感覺皮質,以及負責情感系統的杏仁核是如何表徵這一動態競爭的心智運作卻不清楚。我們接著在fMRI研究中(Kuo, Lin, & Yeh, 2018),結合機器學習支援向量機(support vector machine, SVM)的型態分類演算法,計算大腦在進行記憶登錄威脅性刺激與中性物體刺激時,杏仁核與視覺皮質所引起神經活動型態的分類模型,並成功地將所得的分類模型用以預測大腦隨後進行記憶維持時的神經活動的型態,即透過機器學習對大腦神經表徵型態的預測,展現雖然杏仁核與視覺皮質都能表徵威脅與中性的刺激表徵,但是威脅刺激相較於中性刺激能大幅增強注意機制的運作,提高對於神經活動型態的正確性(圖二)。最後,利用多變項功能性聯結的分析方法,我發現注意機制與威脅刺激的加乘能增強視覺皮質與前額葉皮質神經活動的協同運作; 反之,代表情緒系統運作的杏仁核所則在威脅刺激消失後,其神經活動也回復至隨機狀態,這些證據顯示個體有能力利用目的導引注意力對威脅性的刺激進行調節,一旦將注意力轉移並遠離威脅性刺激,情感系統(杏仁核)的神經反應強度下降,對於威脅性刺激表徵的正確性也下降。

圖二說明:機器學習支援向量機分析示意(A)與機器學習型態分類結果(B),以及大腦前額葉皮質與視覺皮質功能性聯結(C)

四、總結

自古以來人類渴望了解自我,這也促使著研究者努力不懈地使用各種方法探索大腦、心智與行為的關係。當代的認知神經科學研究結合了心智與神經科學兩個重要領域,利用腦功能影像的研究工具,結合認知心理學實驗方法,使我們能一窺人類心智的奧秘,探討個體如何藉由有形的神經運作,產生抽象的心靈活動。探索大腦、心智與行為的關係,整合多種研究工具已經是當代認知神經科學研究的重要趨勢,身心運作與社會文化的整體性更是需要我們的探討。我們整合多種腦影像研究方法與行為測量,使用具有發展人工智慧潛能的機器學習方法,系統性地探討心智活動與其大腦神經運作,解譯大腦理性與感性的競爭密碼,探討大腦如何對外在知覺與內在記憶表徵進行連續且動態地調控。我期許未來可以透過這樣的方法取向,建立認知與情緒的訓練課程,或甚至能使用非侵入性的腦刺激方法,進行介入或調節,讓有嚴重情緒困擾的個體能夠在這場嚴峻的戰爭中,找到獲勝的密碼。

五、參考文獻

Kuo, B.-C., Li, C.-H., Lin, S.-H., Hu, S.-H., & Yeh, Y.-Y. (2017). Top-down modulation of alpha power and pattern similarity for threatening representations in visual short-term memory. Neuropsychologia, 106, 21-30. doi: https://doi.org/10.1016/j.neuropsychologia.2017.09.001

Kuo, B.-C., Lin, S.-H., & Yeh, Y.-Y. (2018). Functional interplay of top-down attention with affective codes during visual short-term memory maintenance. Cortex, 103, 55-70. doi: https://doi.org/10.1016/j.cortex.2018.02.003 Kuo, B.-C., Lin, S.-H., & Yeh, Y.-Y. (2018). Functional interplay of top-down attention with affective codes during visual short-term memory maintenance. Cortex, 103, 55-70. doi: https://doi.org/10.1016/j.cortex.2018.02.003