過去在研究情緒相關問題時，多以肉眼觀察動物臉部的表情來解讀動物的情緒，過去建立一老鼠鬼臉量表（mouse grimace scale, MGS）藉由肉眼觀察小鼠對疼痛和正面情緒的面部表情變化，但此種方法無法快速、精準且標準化地辨識動物面部表情，因此 Nejc Dolensek 與其同事在 2020 年 4 月發表的文章，利用臉部辨識演算法來分辨小鼠的臉部表情，並結合雙光子鈣成像（two-photon calcium image）以找出與臉部表情表達相關的神經細胞。
首先，Nejc Dolensek 團隊欲了解小鼠對於不同刺激是否會表現出不同的面部表情，並且這些表情是否由情緒所導致，因此在此研究中 [1]，作者將小鼠分組並給予不同的刺激或食物並錄影紀錄其臉部影像，如電擊尾巴（痛苦）、注射氯化鋰（內臟不適）、餵食蔗糖（喜悅）與奎寧（噁心），以及恐懼反應（逃避表示積極恐懼與凍結不動表示消極恐懼）。分析施予不同刺激的臉部影像後，對比於對照組的小鼠臉部表情（未施予刺激），作者發現受到不同刺激組別的小鼠臉部影像在耳朵、鼻子、嘴巴與下巴周遭有所差異，為了更進一步分析施予刺激前後的臉部影像差異，作者選用方向梯度直方圖（Histogram of oriented gradient, HOG）以分析影像差異並對其分類。
HOG 用於檢測目標的特徵描述器，它將圖片分區（block）並對區間更細分成細胞單元（cell），而細胞單元內含有多個像素（pixel），HOG 會疊合細胞單元內每個像素以向量表示的圖像梯度（intesity gradient）以及邊緣方向（edge direction），之後對每個區間的對比做標準化（contrast normalization），以此描述物體的外表與形狀 [2, 3]。藉由 HOG 的分析，發現除了對照組的小鼠臉部影像外，其餘有施予刺激組別的小鼠臉部影像，每個刺激組別都能各自分群成刺激前與刺激後的影像，這表示小鼠確實因為刺激而改變了臉部表情，並且分成同一群的影像彼此的相似度也都很高。而後利用取得的臉部影像建立資料庫並訓練「隨機森林分類器」（random forest classifier）來預測小鼠臉部影像是由哪種刺激所誘發，發現以特定刺激所誘導的臉部影像做訓練時，更能準確預測小鼠所受到的刺激為何，顯示不同刺激的臉部影像是有區別的，且經過訓練後的機器學習演算法能夠有效地將臉部影像分類到相對應的刺激。
作者從幾個不同刺激所產生的臉部影像中各自挑最具象徵性的結果，並以 HOG 對影像的向量做平均得到不同刺激影響的特徵描述來代表不同情緒的原型（emotion prototype），同一隻小鼠以不同刺激所產生的臉部影像的向量特徵皆可對應到其相對應的情緒原型，另外餵食奎寧、尾巴電擊與逃避的影像皆可對應到積極恐懼。為了進一步確定小鼠的臉部表情是由於情緒而產生的結果，並非因為刺激產生的反射反應導致臉部肌肉收縮，所以作者根據情緒的基本特徵設計後續實驗 [4]。
情緒的第一個特徵是會有強度（intesity）變化，作者提高對尾巴施加的電流，小鼠的臉部影像與痛苦情緒原型的相似度也隨之增加；提高所餵食之蔗糖以及奎寧的濃度，其影像分別對喜悅以及噁心情緒原型的相似度也同樣提高。情緒的另一個特徵是具有效價（valence）差異，即感受到好或壞這種二元對立的情緒，如小鼠偏好低濃度的含鹽食物，但厭惡高濃度的含鹽食物，從結果發現餵食低濃度含鹽飲食時的影像與喜悅情緒原型相近，反之，餵食高濃度含鹽飲食的影像則相似噁心情緒原型。此外，情緒表達也與生理狀態有關，相較於不口渴的小鼠，口渴的小鼠被餵食蔗糖後的臉部影像對照喜悅情緒原型的相似度提高，只餵食水也有同樣的結果。另外，作者也對小鼠作了制約味覺嫌惡（conditioned taste aversion, CTA）的實驗，餵食小鼠蔗糖後施予尾巴電擊，發現訓練後的小鼠臉部影像降低了對喜悅情緒原型的相似度，對噁心情緒原型的相似度則大幅提高。這些結果皆顯示所收集到的小鼠的臉部表情確實是源自於情緒，並非反射反應所導致的肌肉收縮。
除了外在給予的刺激，作者利用光遺傳學來刺激小鼠大腦不同腦區直接產生神經傳導物質來誘導情緒，分別刺激腦島後皮質（posterior insular cortex, pIC）、腦島前皮質（anterior insular cortex, aIC）以及腹側蒼白球（ventral pallidum, VP），pIC 刺激的臉部影像與噁心情緒原型相近而 aIC 和 VP 則是近似喜悅情緒原型。顯示直接刺激大腦也可以得到相似於餵食奎寧與蔗糖的結果。過去研究闡述刺激 aIC 到杏仁核體基底外側核（basolateral amygdala, BLA）之路徑會影響小鼠對味覺刺激所產生的情緒反應，實驗結果確實顯示刺激此路徑影響了小鼠食入奎寧後的表情對應到噁心情緒原型的相似度略為下降。
最後，作者利用雙光子鈣成像（two-photon calcium image）測試了 1198 個神經細胞，在餵食蔗糖與奎寧的結果中發現皆可分為三種細胞，一種是與情緒表情表達相關的細胞，另一種是與刺激相關的細胞，最後則是與兩者都相關的細胞。同樣是與刺激相關的細胞，與奎寧刺激相關者為 69%，蔗糖刺激則為 31%，兩者皆有則是 21%；與噁心情緒相關的細胞是 42%，喜悅情緒則為 58%，但兩者皆有則只有 2%。
在這篇研究中，作者利用 HOG 對表情影像分類，並依此為依據進一步利用雙光子鈣成像找出與表達情緒、接收刺激以及兩者皆相關的神經細胞，顯示了特徵辨識相關的演算法在動物模型上能夠作為良好的實驗工具，為相關研究者提供更客觀且有效地情緒表徵分析。
圖片來源：作者自繪
參考文獻：
- Dolensek N, Gehrlach DA, Klein AS, Gogolla N. Facial expressions of emotion states and their neuronal correlates in mice. Science 368:8(2020). DOI: 10.1126/science.aaz9468
- Dalal N, Triggs B. Histograms of oriented gradients for human detection, IEEE Xplore (2005). DOI: 10.1109/CVPR.2005.177
- H. S. Dadi, G. K. Mohan Pillutla. Improved face recognition rate using HOG features and SVM classifier. IOSR J. Electron. Commun. Eng. 11, 34–44. (2016) DOI: 10.9790/2834-1104013444
- Anderson DJ, Adolphs R. A framework for studying emotions across species. Cell 157:187-200. (2014) DOI: 10.1016/j.cell.2014.03.003
撰稿人｜林琲瑢
審稿人｜吳畇芸
