(圖片來源:The Economist, 2011 [http://goo.gl/LMwyPX])
各位引頸期盼的腦機介面下集來囉!用意念來控制電腦機器不再是天方夜譚,但是要如何偵測腦波訊號,並且從中提取特徵、判讀意念,並且轉化為機器指令,仍有待進一步的研究來達成。上集的腦波介面專題為大家介紹了腦波產生的原理與偵測方法,以及腦波訊號的特徵。接下來,徐聖修學長與 Investigator 將繼續為讀者帶來腦波訊號的處理方式以及現今腦機介面的實際應用。
I. 人腦到電腦──訊號處理與機器學習(Translation Algorithm)
若能提取顯著的腦波特徵,只要將腦波訊號依特徵分類 (classification),就能轉換為指令控制電腦或機器 (translation algorithm)。那麼只要找出每個腦功能對應的腦波特徵,要解讀人的所有意念並非難事?
腦機介面實際實作上存在兩大問題:第一,實際取得的訊號會混雜如眨眼等肌肉電訊號 (Electromyography, EMG) 和周圍電磁波 (如手機、電腦) 干擾,且訊號往往比真正腦波大得多;第二,複雜的腦活動不是靠單一特徵就能預測,許多腦功能 (尤其是高階認知功能如推理、情感等) 仍找不到指標性的特徵。
該如何濾除雜訊,取得真正的腦波訊號?面對複雜未知的腦活動,我們還有什麼辦法去判讀?這兩個問題對應了科學家正努力的兩大方向:一是精進訊號處理 (signal processing) 方法,處理雜訊,萃取出高品質的腦波訊號;二是開發新的分析方法,例如機器學習 (machine learning) 的技術。
1. 訊號處理方法
傳統的訊號處理方法諸如濾波器 (filter) 即能有效濾除如交流電60Hz電磁波或直流電的干擾。但肌電訊號的干擾一直是科學家的困擾,它往往會降低腦機介面判讀腦波特徵的準確率。2000年一種稱為獨立成分分析 (Independent Component Analysis) 的方法成功地解決此問題13。它假設腦波是由許多獨立的腦區發出訊號混合而成,用此模型配合強大的演算法,便可解出腦波內含的獨立成分,如眨眼、眼動等肌肉電訊號皆可分離。為了提升腦機介面的效能,許多厲害的訊號處理方法相繼被開發,若讀者想更進一步瞭解,腦波分析權威 UCSD 的 Scott Makeig 教授有篇回顧論文詳盡地介紹各種腦波訊號處理和分析方法14。
2. 機器學習技術
機器學習是目前全球正夯的領域,Google, Facebook 等大公司都有強大的機器學習團隊。咦?這跟腦波分析和腦機介面有什麼關係?機器學習的目的,是從大數據 (Big Data) 中,找出一些特徵進而萃取資訊 (Data mining)。對 Facebook 而言,是要從使用者資料中,預測使用者的行為和喜好;對腦機介面而言,是要從腦波訊號中,判讀使用者的意念。機器學習的精髓,在於從大數據中提取特徵 (feature extraction),再進行分類 (classification)。兩者的應用截然不同,但是背後的邏輯和方法卻是相通的。
近十餘年來,機器學習方法的躍進,也帶起了腦機介面的快速發展。透過機器學習,竟然能從大量看似無意義的腦波訊號中,判斷複雜的腦活動 (如精細的運動控制),大幅提升腦機介面判讀的準確率。機器學習的方法如廻歸分析 (Regression)、人工神經網路 (Artificial Neural Network)、貝式模型 (Bayesian Inference Model) 已經超過本文範疇,有興趣的讀者不妨參考 2012 年 Sensors 期刊上的回顧論文,介紹腦機介面中常用的機器學習方法15。
II.應用──腦機介面
有了前幾個章節的背景知識,我們現在就來看如何整合各部份,來實現很酷的腦機介面。因為腦機介面的團隊非常多、應用也非常廣,以下以舉例的方式簡介。
1. 腦波控制的腦機介面 (EEG-based BCI)
第 III 章所描術之腦波特徵,可以應用至不同的腦機介面。
圖七、腦波控制的腦機介面16。(a)撥打電話。(b)拼字機。(c)醫療照護系統。(d)智慧型居家環境。
(1) 腦波電話:如圖七 (a) 所示,使用者戴上簡易的腦波頭帶,前端的電腦或手機螢幕上會出現數字鍵盤,每格以不同頻率閃爍 (例如數字 0 以 11Hz 閃爍,數字 1 以 12Hz 閃爍,以此類推)。當使用者注視著數字 0,後腦勺的電極便會偵測到 11Hz 的視覺刺激誘發電位 (VEP) 訊號,如此即可判斷使用者想要看撥打什麼數字。可參考 UCSD 鍾子平教授團隊的簡易示範影片[http://goo.gl/LgQ2oU]。
(2) 腦波拼字機及腦控選單:如圖七 (b),這次螢幕上出現 6×6 的鍵盤 (包含所有英文字母和數字),每一次隨機亮起某些符號,間隔約 0.1~0.5 秒。使用者盯著某字母或數字看時,若該符號突然亮起,人腦頂葉便會產生 P300 的訊號。經過數次閃爍之後,便能根據P300偵測到的時間與次數決定使用者注視的符號。這項技術可以延伸為智慧型選單,讓使用者能控制醫療照護系統 (c) 或居家環境 (d)。這開闢了肌萎縮側索硬化症 (ALS)、腦中風 (Stroke) 等喪失語言、行動能力的病人跟外界溝通的管道。請參考影片Thinking cap helps those with ALS [http://goo.gl/aZ2fxB]。
(3) 醫療復健器材:用腦波控制復健器材協助四肢的運動,不只能加強肌肉,更能重建或強化神經與肌肉的連結。對於腦中風壓迫到運動神經的病人的復原能有所幫助。另外,對於癱瘓的病人而言,甚至可以結合功能性電刺激 (Functional Electrical Stimulation) 的技術,將偵測到的腦波轉為各種電訊號,刺激癱瘓病人不同處的肢體肌肉,訓練後即有機會能控制原本無法移動的四肢!請見奧地利 Graz 科技大學團隊在前臂癱瘓病人上實踐的 BCI-controlled FES 示範影片[http://goo.gl/goiBuU]。
2. ECoG-based BCI及綜合型腦機介面 (Hybrid BCI)
(1) ECoG-based 腦機介面:ECoG 雖然使用侵入式電極,但對於許多身體無法移動的病人而言,能讓自己更獨立過生活,什麼都願意嘗試。 Pittsburgh 大學醫學院的Andrew Schwartz 團隊開發了用 ECoG 控制的機器手臂,讓車禍癱瘓的病人能夠重新碰觸外在的世界[http://goo.gl/RSk8xu]。
(2)綜合型腦機介面:單用腦波訊號的腦機介面有正確率上的極限。現今腦機介面的發展,更趨向於綜合型 (Hybrid),同時採用腦波 (EEG)、肌肉電訊號 (EMG)、眼動訊號 (Eye-tracking),加上動作感應 (如攝影機、加速儀) 等各種訊號,以求更準確的判讀使用者意念。例如UCSD Gert Cauwenberghs團隊致力於將整合的資訊應用在偵測帕金森氏症 (Parkinson’s Disease) 患者的異常腦波特徵並將開發輔助型義肢協助患者行動。影片請見Science Nation的報導[http://goo.gl/ZGHpvr]。
3. 大眾化的腦機介面
腦機介面已經不再是科幻或只是實驗室裡的研究計劃,已經有許多團隊和公司,致力於讓腦機介面普及化。目前已經有市售提供給大眾的腦波量測儀器,如使用 1 個電極的 Neurosky (介紹影片) [http://goo.gl/TCgGjl]、14 個電極的 Emotiv (創辦者的 TED Talk 影片) [http://goo.gl/H2pZ6J]。而九個歐盟國家共同合作的 Assistive Technology Rapid Integration & Construction Set (AsTeRICS) 計劃,開發了一套模組式 (module) 的腦機介面,讓使用者能夠用簡單的圖形介面軟體和各種訊號量測硬體 (如腦波帽、眼動偵測) 組合出自己專屬的綜合型腦機介面,極富趣味與教育意義。[http://goo.gl/rLg3MW]
圖八、提供一般消費者腦機介面商品的公司(圖片來源: BNCI Roadmap [http://goo.gl/ISLvYD])
III. 腦機介面的挑戰與未來
總結
腦機介面發展至今,在眾多科學家團隊的努力下,取得許多重要性的突破。
(1) 量測訊號:腦波量測從有線的濕電極變成無線的乾電極;Intracortical recordings的量測從單一電極變成多陣列;腦波帽的便利性和測得訊號品質大幅提升。
(2) 提取特徵:從傳統的時域和頻域特徵出發,透過視覺刺激誘發電位 (VEP)、事件誘發電位 (ERP) 等方法,發現更多腦部活動及腦功能的腦波特徵。隨著對腦神經網路結構與功能越來越瞭解,新的分析方法如獨立成分分析 (ICA)、連結性分性 (connectivity analysis),逐漸能成功提取腦波中隱藏的資訊。
(3) 轉換成指令:依腦波特徵分類即可轉為指令控制腦機介面。藉由訊號處理如傳統的濾波器到新開發的獨立成分分析等方法,能從混雜的訊號中萃取出高品質腦波,提高指令正確率;而透過機器學習等新興技術,從大量腦波訊號裡竟然有辦法準確解讀人較複雜的腦部活動,這是腦機介面快速發展的關鍵之一。
(4) 應用:傳統腦機介面的應用以協助癱瘓或行動不便的病人為主,例如腦波電話、腦波拼字機、醫療復健器材。新的腦機介面除了讓腦控指令更多、更快之外,
也加入了如肌電、眼動等生理訊號,讓判讀更加準確,例如新型腦控義肢。此外,許多科學團隊和新創公司也致力於將腦機介面大眾化,除了新穎的腦控虛擬實境遊戲,也讓所有人能打造自己專屬的腦機介面。
腦機介面的挑戰
腦機介面的發展仍面臨許多挑戰。
(1) 舒適度與訊號品質兩難全:好的訊號品質是腦機介面成功的關鍵。腦波 (EEG) 畢竟是量測頭皮的電訊號,接觸越好、訊號品質越高。但接觸好,不是採用濕電極就是要施加壓力,兩者都會降低使用者舒適度。更別提ECoG及Intracortical Recordings侵入式的量測方法。
(2) 「腦機介面真的能讓我心想事成?」:目前的腦機介面,常以外在刺激誘發使用者被動地產生特定腦波特徵,或是需要使用者刻意去執行心智任務,使用上還不是那麼直覺。心想和事成的,通常不是同一件事。目前比較底層的腦功能如運動 (motor) 控制,腦機介面尚可實踐。但較高層的腦功能如情緒,甚至是冥想、默念,還無法準確地解析和應用。離科幻片場景會讀心術的電腦還有很長距離。
結語
腦機介面是跨領域的研究與應用。需要神經科學家對人腦運作原理的理解,需要電路工程師設計電極、訊號放大與濾波電路,需要訊號處理專家解決雜訊及傳輸大量資料的問題,需要資訊工程師開發機器學習演算法、後端應用軟體,需要機械工程師打造符合人體工學的義肢或機械,需要醫生實際應用在臨床上。
因為近年來各個領域的快速發展,才使得原本只在科幻片出現的腦機介面已經不再是夢想。或許在不遠的未來,每個人都會戴著各種酷炫款式的腦波帽子或耳機,不用拿手機就能撥電話、不用打字就能寫筆記;或是像鋼鐵人一樣,輕鬆控制一身鋼鐵裝,作為個人助理及行動載具。
- J. R. Wolpaw, N. Birbaumer, D. J. McFarland, G. Pfurtscheller, and T. M. Vaughan, “Brain – computer interfaces for communication and control,” Clin. Nerophysiology, vol. 113, pp. 767–791, 2002.
- B. Allison, “Trends in BCI research,” XRDS Crossroads, ACM Mag. Students, vol. 18, no. 1, p. 18, Sep. 2011.
- J. J. Vidal, “Real-time detection of brain events in EEG,” Proc. IEEE, vol. 65, no. 5, pp. 633–641, May 1977.
- J. J. Vidal, “Toward direct brain-computer communication.,” Annu. Rev. Biophys. Bioeng., vol. 2, pp. 157–80, Jan. 1973.
- E. M. Maynard, C. T. Nordhausen, and R. A. Normann, “The Utah Intracortical Electrode Array: A recording structure for potential brain-computer interfaces,” Electroencephalogr. Clin. Neurophysiol., vol. 102, no. 3, pp. 228–239, Mar. 1997.
- J. Wessberg, C. R. Stambaugh, J. D. Kralik, P. D. Beck, M. Laubach, J. K. Chapin, J. Kim, S. J. Biggs, M. A. Srinivasan, and M. A. Nicolelis, “Real-time prediction of hand trajectory by ensembles of cortical neurons in primates.,” Nature, vol. 408, no. 6810, pp. 361–5, Nov. 2000.
- M. Nicolelis, “Beyond Boundaries: The New Neuroscience of Connecting Brains with Machines—and How It Will Change Our Lives,” 2012.
- E. Kandel, J. Schwartz, and T. Jessell, Principles of neural science. 2000.
- N. Thakor, “Building Brain Machine Interfaces – Neuroprosthetic Control with Electrocorticographic Signals,” IEEE Life Sciences, 2012.
- G. Buzsáki, C. A. Anastassiou, and C. Koch, “The origin of extracellular fields and currents–EEG, ECoG, LFP and spikes.,” Nat. Rev. Neurosci., vol. 13, no. 6, pp. 407–20, Jun. 2012.
- T. Budzynski, H. Budzynski, J. Evans, and A. Abarbanel, Introduction to quantitative EEG and neurofeedback: Advanced theory and applications. 2009.
- B. Blankertz, R. Tomioka, S. Lemm, M. Kawanabe, and K. Muller, “Optimizing Spatial filters for Robust EEG Single-Trial Analysis,” IEEE Signal Process. Mag., vol. 25, no. 1, pp. 41–56, 2008.
- T. JUNG, S. MAKEIG, and C. HUMPHRIES, “Removing electroencephalographic artifacts by blind source separation,” Psychophysiology, 2000.
- S. Makeig, C. Kothe, T. Mullen, N. Bigdely-Shamlo, and K. Kreutz-Delgado, “Evolving Signal Processing for Brain–Computer Interfaces,” Proc. IEEE, vol. 100, no. Special Centennial Issue, pp. 1567–1584, May 2012.
- L. F. Nicolas-Alonso and J. Gomez-Gil, “Brain computer interfaces, a review.,” Sensors (Basel)., vol. 12, no. 2, pp. 1211–79, Jan. 2012.
- B. Graimann, B. Allison, and G. Pfurtscheller, “Brain–computer interfaces: A gentle introduction,” Brain-Computer Interfaces, 2010.
作者簡介
徐聖修 Sheng-Hsiou (Shawn) Hsu
Email: shh078@ucsd.edu
台大電機系畢,現於美國加州大學聖地牙哥分校 (UCSD) 就讀生物工程系 (Bioengineering) 博士班。喜愛以工程技術,一探大腦的奧秘。目前正在Swartz Center for Computational Neuroscience (SCCN) 研究腦波 (EEG) 的分析方法以及開發腦機介面 (Brain-computer interface) 的應用。
撰稿|徐聖修
編輯|陳致曄、黃翊柔
學術部負責人|黃翊柔
[…] 腦機介面 (Brain-Computer Interface) 專題 (下) […]