在VR中玩多人桌遊、握手，這些自然的互動對於VR社交場景十分關鍵，尤其是逼真的手勢互動、體感互動更有助於提升VR社交的沉浸感。目前，Quest 2頭顯已經支援手勢識別功能，Meta希望進一步提升AR/VR的互動效果，因此其Reality Labs科研部門也在研發一些體感手套方案。

Reality Labs表示：今年三月，我們開始陸續公佈由三個部分組成的人機介面研究專案。而為了探索一種可以應用於AR眼鏡的上下文感知AI介面，我們制定了一個長達10年的規劃。這個AI介面可以根據你提供的資訊，來提供主動幫助，讓你無需低頭查手機，就能一邊與周圍的人交流，一邊獲取資訊。

近期，Reality Labs研發的人機介面專案包括此前公佈的EMG腕帶AI手勢互動方案，而近期其又將詳細介紹了一種AR/VR體感手套方案。據悉，這款AR/VR體感手套將涉及軟機器人、微流體、手部追蹤、觸覺渲染、感知科學等多項技術。

據瞭解，Reality Labs內部有一個團隊，專門負責研發自然、低阻力的AR/VR互動系統。這個團隊包括Meta的一些研究員、工程師和設計師，其目標放在更遙遠的未來，希望透過10到15年時間，為AR/VR互動開創全新的科研領域。Reality Labs表示：我們將研發的互動方案不僅將從根本上改變AR/VR的發展程序，甚至可能會應用於醫學、太空旅行等其他領域。

據瞭解，Reality Labs的科研部門致力於技術創新，與普通科研實驗室不同的是，這裡的科研人員可以將技術應用於實際，並更快得到使用反饋。這個團隊的研究專案與未來的AR/VR社交、元宇宙有緊密關係，他們想要解決的核心挑戰是，如何在虛擬世界中實現觸感。

在AR/VR中的應用場景

我們知道，目前市面上已經出現多種形式的AR/VR體感手套，一些可模擬虛擬物體的阻力、表面觸覺，也有一些可模擬壓力、震動感等等。應用場景方面，考慮到體感手套成本高，而一些培訓場景對體感模擬的準確性要求高，因此AR/VR體感手套主要應用於B端，也有一些面向硬核遊戲玩家的VR手套。

而對於Meta來講，AR/VR手套將開啟更高質量的遊戲、社交場景，比如多個玩家以3D頭像的形式在AR/VR中一起玩3D拼圖，當你拿起拼圖的時候，能夠感受到觸控拼圖表面產生的阻力，這種體感比普通的隔空手勢識別更真實，可以更加準確的模擬抓取拼圖的動作。此外，你還可以透過視覺和觸覺，近距離檢查拼圖的邊緣和表面紋理，當你把拼圖嵌入位置時，也能感受到咔噠聲和相應的體感反饋。

而在辦公場景，AR/VR手套可以模擬鍵盤的敲擊感，以及按鍵的外觀觸感，因此無需實體鍵盤或螢幕，你在AR/VR中就能模擬逼真的鍵盤輸入體驗。

實際上，Meta已經透過手柄和手勢識別來探索多樣化的VR互動。相比之下，VR體感手套可帶來更自然逼真的體驗，而成本卻高得多，那麼為什麼Meta認為這是一項關鍵技術？體感手套對於AR/VR來說，將如何提高生產力和操作能力？

Reality Labs表示：Meta最接近自然互動的技術是Quest的手勢識別，手勢識別可以讓你直接用手控制VR，這相比於VR手柄是一大進步。儘管如此，缺少觸覺反饋的手勢互動，意味著你的手無法像在真實場景中那樣與物體靈活互動，而體感手套將有望解決這一問題。

Reality Labs Research部門的AR/VR互動和輸入科研部門負責人Sean Keller表示：用雙手來實現AR/VR中的互動，將帶來巨大價值。人類用一生去練習手部運動，我們用手來交流、學習、做動作，如果將手部互動與AR/VR結合，那麼你在AR/VR中了也能和虛擬物體自然互動，無需再學習新的互動。

據悉，Keller帶領的團隊在過去7年時間裡，已經逐漸成長為數百名專家組成的隊伍。這個團隊的目標是研發柔性、輕便的觸覺手套，不僅可以更加準確的追蹤手勢，也能模擬複雜、細微的體感，比如壓力、表面紋理的觸感、震動等等。並透過這些模擬的體感，進一步提升虛擬互動的逼真感。

理想AR/VR體感手套的難點

為了進一步降低AR/VR體感手套成本，並面向大眾推廣，這項技術需要具備時尚感、舒適性、低成本、耐用、可完整定製等特性。未來的大眾化體感手套將與C端VR頭顯配對，讓使用者可以在Meta的元宇宙平臺中參加逼真的音樂會、玩撲克遊戲。而與AR眼鏡結合後，體感手套便可以將AR虛擬物體與真實場景進一步融合。

這樣理想的體感手套將需要突破現有科學和工程技術的一些突破。Keller表示：我們將圍繞AR/VR體感手套，重新構建與這項學科相關的所有技術。比如，他們會學習人們感知觸覺，並透過觸覺來完成任務的方式，或是尋找適用於各種手掌大小和外形的機械方案。此外，為了進一步推動軟機器人和機械追蹤技術發展，Meta開始研發全新的柔性材料和製造技術，徹底擺脫過去的技術。

此前，Meta Reality Labs已經公佈電磁感測的柔性觸覺感知方案ReSkin，而為了將觸覺訊號轉化成體感模擬，Meta在AR/VR體感手套上安裝了數百個微型電機。這些微型電機隨著手勢變化而產生動態的體感反饋，以模擬觸控虛擬物體的阻力。

然而，數百個微型電機通常會產生過多熱量，因此配備這些電機的體感手套不適合全天候舒適佩戴。此外，它還存在體積大、不夠柔軟、成本高、耗電、體感模擬不逼真等缺點。

研究持續兩年後，Keller的團隊又發現傳統電氣金屬元件存在侷限。理論上講，如果Meta研發一種全新的柔性材料，可以讓驅動器根據手部變化而改變形狀，並用這種柔軟、彈性的驅動器來代替機械驅動器，也許可以解決這一問題。不過，當時並不存在這樣的技術。

Reality Labs科研部門硬體工程總監Tristan Trutna表示：在使用者手上放置1000個微型電機和1000根電線，這絕不可能發生。不管投入多少資源，都無法在手上放置這麼多元件，熱量和重量都太大了。為了解決這一問題，將需要使用氣動、液壓或高密度電活性驅動等方案，才能在多個不同的位置模擬出數千種壓力。

於是，該科研團隊開始將研究重點轉向軟機器人和微流體。軟機器人和微流體都是新興領域，此前曾分別用於義肢和PoC醫療檢測裝置。過去兩年中，Keller和團隊在氣動驅動器和電活性驅動器領域取得重大突破，即透過氣壓產生阻力，以及透過電場來改變驅動器形狀和大小。

據Meta公佈的影片顯示，其研發的氣動驅動器主要部分僅硬幣大小，可透過極細的氣管來控制氣壓變化。

據瞭解，Meta為了控制柔性驅動器，便開始研發號稱世界首個高速微流體處理器，這個處理器體積足夠小，只需要一個就能控制手套上所有氣動驅動器的氣壓變化。

Reality Labs科研部門科學家Andrew Stanley表示：與市面上更廣泛的微流體技術相比，我們研究更注重輕量化、可穿戴、快速響應等特點。為了能在多樣化場景中模擬準確的體感，快速響應將成為衡量體感方案的關鍵。比如在AR/VR中的一些突發事件中，可能只是輕輕一觸，因此氣動驅動器需要快速對手指加壓，將施壓的過程縮短至幾毫秒。相比之下，化學分析等領域使用的大多數微流體方案，需要幾秒鐘才能施加壓力，響應速度不夠快，不適用於理想的AR/VR體感手套。

而為了縮小體感手套的體積，Meta採用了流體邏輯電路，從而減少機電閥數量。

體感渲染構建準確虛擬世界

接下來，科研人員需要控制氣動驅動的時機和方向，在不同場景中渲染準確的體感。而這將需要實時、準確的手部追蹤技術，才能快速確定手在虛擬場景中的位置和動作，以及和虛擬物體之間的距離和互動。除此之外，還需要全新型別的渲染軟體，可以快速將手勢訊號轉化成準確的體感訊號，並實時傳輸至驅動器中，模擬紋理、重量和硬度等體感。

Reality Labs科研部門軟體工程師Forrest Smith表示：體感渲染指的是，獲取虛擬世界的狀態以及使用者與之的互動，將這些資訊進行渲染並傳輸至驅動器，以實現相應的體感。而為了渲染人與虛擬物體之間的實時互動，則需要模擬相應的物理效果。

比如，利用物理引擎（遊戲中常用的互動模擬軟體）來計算手與虛擬物體互動時，受力的方向、大小和位置。接著，觸覺渲染演算法將這些資訊與驅動器的位置和屬性結合，傳送出適合的體感模擬指令。

這時Meta又遇到了難題。Reality Labs科研部門軟體工程師Andrew Doxon表示：我們需要構建一種，支援多樣化驅動器和體感體驗的軟體演算法。而在未來，這種物理模擬軟體還將進一步降低門檻，讓人們可以輕易建立體感內容，就像是錄影片和音訊那樣。

將聽覺、視覺和體感反饋結合

隨著科研團隊的工作進入第四年，他們又發現，為了模擬逼真的紋理和體感反饋，將需要建立足夠逼真的物理觸覺模型。儘管如此，在沒有真實物理模型或物體的情況下，基於氣動的體感手套難以模擬絕對的阻力。也就是說，即使你的手已經穿過虛擬物體的邊界，它也不會因為觸碰到物體而停止移動。

為了解決上述問題，Meta科研人員開始探索感知科學和多感官整合。換句話講，就是了解人類感官如何透過協同工作，建立對世界的理解，然後模擬這種協同，“欺騙”AR/VR使用者的感官。

Reality Labs使用者體驗科研部門的科學經理Sophie Kim解釋，人類的大腦透過接收並融合觸覺、視覺、聽覺訊號，來生成一種完整的感受，使人相信自己手中拿著某樣物體。正是因為這樣的理論，我們決定利用人類的感知能力，來營造令人信服的體感錯覺。

為了進一步解釋人腦感知周圍環境的過程，Meta描述了一個抓方塊的例子：當你用手抓起一個立方體時，很快就對它的一些特徵做出預測，比如透過視覺和觸覺，依據經驗對比並識別它的材質，然後透過識別摩擦力和慣性，便能推斷出立方體的重量。

同樣，體感手套也可以透過拉扯手指的面板，來模擬虛擬物體的重力。不過這種模擬的體感，對於時機、準確性的要求很高。

在2017年末的一項實驗中，Meta科研團隊利用震動觸覺反饋手套來模擬與虛擬球體的互動，這些球體的材質包括木材、大理石、泡沫，除了模擬不同的體感外，還結合了各種視覺、聽覺線索，以提升互動的逼真感。

Keller表示：這項實驗準確模擬了互動的時機和方式，體驗者可以感受到泡沫、木頭或大理石輕輕撞擊手指的觸感。

具備舒適性和定製性的智慧織物

隨著技術研發升級，Meta團隊開始將重點放在AR/VR體感手勢的舒適度，以及感測器和驅動器整合的方向上。實際上，不管任何實驗室技術有多神奇，其商業化過程都需要解決整體產品外觀、舒適度和實用性這一系列難題。

在實際體驗中，即使AR/VR手套能模擬準確的體感，其僵硬、沉重、不舒適、容易脫落等問題也有可能打破AR/VR沉浸感。因此，科研人員開始探索輕量化、柔軟、高度耐用的設計方案。

Reality Labs科研部門程式工程師Katherine Healy表示：我們面臨的挑戰是，將全新的AR/VR體感手套方案小型化，併為它加入多功能的系統，以此來提升整體體驗感。

於是，Reality Labs內部的材料團隊便開始研發全新的低成本聚合物材質。比如塑膠、矽膠這樣的柔性材料，它們的特點是同時具備舒適性和可拉伸性，而且可以在分子層面上進行定製，並升級全新的功能。通常，這種智慧材質也會用於高效能運動服裝。

據悉，Meta需要用全新的製造技術，才能將智慧柔性材質變成非常細的纖維，然後透過縫製、針織或編制來做成手套。

Reality Labs科研部門科學經理Kristy Jost表示：僅採用導電紗線做成的體感手套，並不能滿足AR/VR互動的需要的全部功能，因此我們開始探索用纖維來打造更輕薄、更耐磨的體感手套，併為其賦予導電、電容和感測等功能。

除了材質外，AR/VR體感手套面臨的另一大挑戰是通用性，也就是說它需要適合不同尺寸、外形的手，才能在更多使用者群中推廣。Reality Labs的材料團隊希望透過全新的製造技術，透過可定製的手套設計，進一步提升每個人在AR/VR中互動的準確性和舒適性。整個製造流程將包括：用全新的方式製造微型驅動器、全新的編制和刺繡/整合工藝。

目前，Meta研發的AR/VR體感手套由熟練的工程師和技術人員手工製造和組裝。Healy表示：我們會盡量採用半自動化工藝，而未來如果要量產，將需要發明新的製造工藝。

Reality Labs：未來剛開始

Meta表示：理想的AR/VR體驗需要可信度高的體感反饋，支援這種體驗的技術尚未出現。儘管如此，Reality Labs將繼續透過研發和創新，推動相關技術發展。

對於Meta來講，體感反饋是其AR/VR和元宇宙戰略的關鍵部分。未來，其希望AR/VR體感技術可以精準模擬按鍵的瞬時體感，或是在AR/VR中為你提供具有體感模擬的運動指導，還可以模擬虛擬形象握手的體感。

為了實現這樣的目標，Reality Labs需要重新研發材料、感測器、驅動器、基層設計和系統，以及全新的渲染演算法、物理引擎等技術。因此可以想象，每個人都能用上AR/VR體感手套的未來可能還需要很長一段時間。

除了AR/VR外，Meta研發的氣動驅動體感技術也可以用於醫療診斷、微流體生物化學、可穿戴和輔助裝置等領域。

在近期釋出的文章中，Meta還介紹了打造AR/VR體感手套的Reality Labs科研團隊，部分成員包括：

Reality Labs科研部門AR/VR互動與輸入研究負責人Sean Keller，他管理的多學科研究部門專注於為下一代計算平臺開發互動介面，涉及體感、EMG輸入、軟體機器人、設計、感知科學、應用機器學習等技術。

Reality Labs科研部門的軟體工程師Forrest Smith和Justin Clark：專注為下一代AR/VR介面研發體感反饋渲染工具。

Reality Labs科研部門科學研究經理Kristy Jose和科研程式工程師Katy Healy：專注為體感手套專案研發智慧紡織材料，進行材料科學研究。參考：

FB