我們如何設計情感音樂?

我們如何設計情感音樂?

自1990年代以來,麻省理工學院的羅莎琳德·W·皮卡德(Rosalind W。 Picard)創立了情感計算領域以來,人們一直在嘗試教計算機讀取情感。

大約30年後,情感計算技術開始出現在商業主流中。其中包括Microsoft Emotion API(用於分析面部表情以檢測各種感覺)以及Affectiva的Emotion Speech API(用於識別預先錄製的音訊片段中的情感)。

這些技術對於自閉症譜系障礙(ASD)的個體可能特別重要,他們經常在社互動動和溝通中掙扎。

潛力是顯而易見的:如果智慧手機應用程式可以實時提供不引人注意的情感暗示,則患有ASD的人可以使用它們來促進社互動動。

面部表情分析可以向患有ASD的人們提供實時反饋,告知他們正在與之交談的人們的情緒狀況。

穿戴式生理感測器(例如我開發的生物音樂技術)可以為個人提供ASD即時瞭解他人情感反應的資訊。

神經系統的音樂

我領導的一個團隊正在積極開發一種稱為“生物音樂”的技術,該技術可以將生理訊號轉換為音樂輸出。

該技術透過可穿戴式感測器收集自主神經系統訊號,例如面板中的汗水量和心率。它將這些訊號的特徵對映到實時生成和合成的聲音。

由於自主神經系統訊號隨情緒狀態而變化,因此生物音樂的變化可以反映出焦慮的增加。它們還可以反映對另一個人的認可。

在我們的試驗性研究之一,例如,我們證明了在治療小丑的存在改變了複雜的繼續照顧孩子的自主神經系統的訊號,即使有識別或響應的其他證據。

我的初步研究表明,玩耍具有嚴重多重殘疾的孩子的生物音樂可以改善他們的看護者與他們之間的互動和感知。

“設計自閉症”的風險

當自閉症社群開始表達對使用ASD的個人使用生物音樂的興趣時,我努力尋找一種方法來根據其需求量身定製該技術。並且做到這一點而不會陷入“為自閉症設計”的陷阱。

自閉症社群中的那些人已經反對自閉症條件的概括。許多人喜歡這樣的說法:“如果您遇到一個自閉症患者,您就會遇到一個自閉症患者” –根據關於ASD的先入為主的假設,抵制意圖良好但資訊不靈通的設計。

在“為自閉症設計”的實踐中可能還會出現其他問題。專為特定(殘疾)能力設計的技術即使解決了實際問題,也有遭受歧視的風險。

對於自閉症患者而言,伴隨所有情感技術的道德問題(例如,有關如何維護隱私的問題)變得越來越大,這些人經常在情感表達和意識方面掙扎。

包含與排除的故事

在醫學人類學家梅利莎·帕克(Melissa Park)和藝術史學家塔瑪·滕貝克(Tamar Tembeck)的共同努力下,我們尋找了個人作為指導。其中包括頻譜人士,家庭成員,教育者和頻譜人士的僱主,學者和科技行業的成員。

我們的30人小組在蒙特利爾參加了為期三天的研討會,討論瞭如何有效地融合生物音樂和自閉症。在研討會期間,我們以各種方式與生物音樂接觸,以探索其潛在的機會,用途和濫用。

我們瀏覽了一家美術博物館,同時播放了我們的實時生物音樂,以瞭解讓陌生人意識到我們的內部反應的感覺。

我們觀察到一位舞者Erin Flynn在她自己的生物音樂上跳舞,這使我們能夠看到她的動作與音樂之間的聯絡,並透過她的生物音樂的強度揭示出的努力使身體的靜止並置。

我們聽取了來自社群合作伙伴對ASD人群的接納和排斥的故事,還聽取了學術合作伙伴關於生物音樂技術理論框架的演講。

在三天的時間裡,我們的小組在生物音樂和自閉症的介面中艱難地解決了倫理,美學和實踐問題,並就未來技術迭代中解決這些問題的方法進行了辯論。

編碼聲音以保護隱私

這些討論深刻地影響了我團隊設計生物音樂技術的方法。社群成員分享的軼事和故事引發了有關如何克服一些棘手的技術挑戰的想法。

例如,當我們聽到一個患有ASD的人描述她在火車引擎中聽到的20種不同的聲音時,我們的隱私權方法發生了變化,而神經典型的人(不在頻譜上的人)只聽到了兩個。

有了這個故事,我們開始設計用於生物反饋的聽覺顯示器,其中關於情緒變化的關鍵資訊被編碼為神經性典型的人無法察覺。

一系列重要的學術講座也激發了我的團隊設計神經典型人士和ASD人士可以一起體驗其生物音樂的方式。

協同設計過程

這種思維方式不僅使我們能夠探索人際互動的潛在新形式,而且使我們對如何減少與使用輔助技術相關的汙名化有了進一步的瞭解。

從具有ASD的人的角度出發,關於情緒本質的正式和非正式研討會討論引導我們設計了Biomusic的使用者介面,以便標記情緒的過程既是協作的又是上下文的。

這些設計決策不僅可以改善生物音樂收到的有關使用者情緒狀態的資訊,而且可以更廣泛地解決情感計算中收集個人瞬間情緒狀態的可靠主觀報告所面臨的挑戰。

當設計師為自閉症患者以及與他們一起工作和生活的人們創造方法,使其深入參與設計過程時,就可以克服“為自閉症設計”的危險。

這種做法增加了自閉症社群對最終技術的接受度。它還帶來了創新的設計思想和實現方式,可以使整個神經多樣性領域的個人受益。