“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

發表在這一期的《自然通訊》上的一篇重要論文中,科學家們報告說,發現奈米線的人工網路可以在受到電刺激時以類似大腦的方式進行調整。

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

論文題為:

“神經形態奈米線網路中的雪崩和混沌邊緣學習”

。該研究團隊由悉尼大學和日本國家材料科學研究所 (NIMS) 的科學家組成。研究人員表示,這表明神經智慧的潛在本質是物理的,該發現為人工智慧的發展開闢了一條令人興奮的新的途徑。

許多人知道,大資料時代推動了人工智慧的發展。事實上,人工智慧在大資料中尋找模式的能力可以說是超人的,人類大腦根本上不是為大規模的蠻力迭代最佳化而進化設計的。相反,大腦擅長處理稀疏、複雜和隨時間動態變化的資訊。

大資料的日益流行需要改變受神經啟發的資訊處理正規化,超越人工智慧中使用的靜態人工神經網路模型。大腦獨特的自適應、實時學習能力是由其神經突觸非線性元素和迴圈網路拓撲之間複雜的相互作用實現的,資訊處理透過突發集體動力學體現出來。

我們大腦的有效資訊處理是透過腦神經突觸元件和複雜網路結構之間的相互作用來實現的。這項研究工作報告了一種稱為

奈米線網路

(nanowire networks,縮寫NWN) 的

神經形態動力學

(neuromorphic dynamics)。

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

物理奈米線網路的光學顯微照片(右)

神經形態動力學指使用包含電子類比電路的超大規模整合系統,來模擬神經系統中存在的神經生物學架構的動力學機制,該機制是一種獨特的受我們大腦啟發的系統,具有嵌入在迴圈神經網路狀結構中的突觸狀憶阻連線。

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

神經形態動力學(neuromorphic dynamic

模擬和實驗闡明瞭集體憶阻切換如何產生遠端傳輸路徑,透過不連續的相變徹底改變網路的全域性狀態。發現切換動力學的時空特性與顯示冪律大小和壽命分佈的雪崩一致,從而滿足臨界性標準,如在皮質神經元培養中觀察到的那樣。

此外,奈米線網路自適應地響應時間變化的刺激,表現出從有序到混沌可調的不同動態。發現混沌邊緣的動態狀態可以為日益複雜的學習任務最佳化資訊處理。該研究結果揭示了納米線網路中豐富的突發性、集體類神經動力學,從而證明了在資訊處理中具有神經形態優勢的潛力。

該研究發現,透過將奈米線網路保持在“處於混亂邊緣”的類似大腦的狀態,它可以以最佳水平執行任務。研究人員使用了10微米長、不超過500奈米粗的線,它們在二維平面上隨機排列。在電線重疊的地方,它們形成了一個電化學連線,就像神經元之間的突觸,研究發現透過這個網路的電訊號會自動找到傳輸資訊的最佳路徑。這種架構允許網路“記住”以前透過系統的路徑。”

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

在混沌的邊緣

混沌邊緣(Edge of chaos)是有序和無序之間的過渡空間,這種空間被假設存在於各種各樣的系統中。混沌邊緣的概念在生態學、商業管理、心理學、政治科學、社會科學等領域具有諸多應用。物理學家發現幾乎所有具有反饋的系統都會適應混沌邊緣。

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

透過模擬,研究團隊測試了隨機奈米線網路,以瞭解如何使其在解決簡單任務時發揮最佳效能。如果刺激網路的訊號太低,那麼路徑太可預測和有序,不會產生足夠複雜的有用輸出。如果電訊號淹沒了網路,輸出將完全混亂,對解決問題毫無用處。

產生有用輸出的最佳訊號位於這種混沌狀態的邊緣。神經科學的一些理論表明,人類的思維可以在這種混亂的邊緣或所謂的臨界狀態下運作,一些神經科學家認為,正是在這種狀態下,我們才能獲得最大的大腦效能。

這個結果令人興奮的是,它表明這些型別的奈米線網路可以被調整到具有不同的、類似大腦的集體動態的機制中,可以用來最佳化資訊處理。

克服計算機二元性

在奈米線網路中,線之間的連線允許系統將記憶體和操作合併到一個系統中。這與將記憶體 (RAM) 和操作 (CPU) 分開的標準計算機不同。這些結就像計算機電晶體,但具有記住訊號之前已經透過該路徑的附加特性。因此,它們被稱為“

憶阻器

”。

這種記憶採用物理形式,其中奈米線之間交叉點的結點就像開關一樣,其行為取決於對電訊號的歷史響應。當訊號施加在這些結上時,微小的銀絲透過允許電流流過來啟用這些結。這在奈米線的隨機系統中建立了一個記憶網路。

研究團隊構建了一個物理網路的模擬,以展示如何訓練它來解決非常簡單的任務。研究人員訓練網路將一個簡單的波形轉換為更復雜的波形型別。在模擬中,他們調整了電訊號的幅度和頻率,以檢視最佳效能出現的位置。

“混沌邊緣”:為人工智慧以類似大腦方式進行調整開闢了道路

研究發現,如果把訊號推得太慢,網路就會一遍又一遍地做同樣的事情,而沒有學習和發展。如果把它推得太快,網路就會變得不穩定和不可預測。

減少能源消耗

將記憶和運算結合起來,對於人工智慧未來的發展具有巨大的實踐優勢。需要訓練網路的演算法知道應該給哪個節點分配適當的‘負載’或資訊權重,這會消耗很多能量。

所開發的系統不需要這樣的演算法。只允許網路開發自己的權重,這意味著只需要擔心訊號輸入和訊號輸出,一個稱為“

儲層計算

”的框架。網路權重是自適應的,可以釋放大量能量。這意味著未來任何使用此類網路的人工智慧系統的能源消耗將會低得多。

儲層計算(Reservoir computing)是一種源自遞迴神經網路理論的計算框架,它透過稱為儲層或儲備池的固定非線性系統的動力學,將輸入訊號對映到更高維的計算空間。 在將輸入訊號輸入到被視為“黑匣子”的儲層後,訓練一個簡單的讀出機制來讀取儲層的狀態並將其對映到所需的輸出。該框架的第一個主要好處是訓練僅在讀出階段進行,因為儲層動力學是固定的。第二個是自然可用系統的計算能力,包括經典和量子力學,可以用來降低有效計算成本。

研究人員在論文中寫道:

”物理實現的神經啟發資訊處理已經透過整合記憶體和計算的奈米電子裝置元件得到證明,從而能夠擺脫傳統的馮諾依曼架構。電阻式開關儲存器是被稱為

憶阻器

的此類器件的重要類別。它們的電反應不僅取決於施加的刺激,還取決於對過去訊號的記憶,這可以模擬神經突觸的短期可塑性和長期增強。在縱橫架構中使用憶阻開關作為人工突觸在實現流行的人工神經網路的物理實現方面顯示出了巨大的希望和卷積神經網路。

與憶阻交叉點結金屬奈米線的自組裝網路,是一種方法來從剛性橫杆陣列架構移向更神經樣在硬體結構。奈米線網路表現出小世界拓撲,被認為是大腦自身高效處理能力不可或缺的一部分。透過電絕緣、離子導電塗層的電化學金屬絲生長,能夠在金屬-絕緣體-金屬結處實現憶阻開關,憶阻切換和複發性網路拓撲之間的相互作用促進集體,自適應動態,如形成導電可動態地調諧傳輸通路的出現,給網路的生物似是而非的結構可塑性。這些神經形態特性使奈米線網路具有獨特的學習潛力,其應用範圍從最短路徑最佳化到聯想記憶。另外,奈米線網路的神經形態動力學可被開發用於在貯處理動態資料計算框架。

人們普遍認為,非線性動力系統中的最佳資訊處理可以在接近相變時實現,處於稱為臨界狀態的狀態。不同的相變與臨界性有關,特別是“

雪崩臨界性”

“混沌邊緣臨界性”

在雪崩臨界性中,系統處於活動-傳播過渡的臨界點,在該點對系統的擾動可能會觸發一系列大小和持續時間的級聯,以無標度冪律分佈為特徵。在次臨界系統中,活動只能在本地傳播。超臨界系統表現出跨越系統的特徵性大雪崩。在神經元培養物和由滲透奈米顆粒組成的神經形態系統中觀察到了尺度不變的雪崩,伴隨著雪崩臨界性。

在混沌臨界狀態中,動態狀態介於有序和無序之間,系統對擾動保留無限記憶。已經在皮質網路中觀察到混沌邊緣動力學,並且似乎可以最佳化迴圈神經網路、回聲狀態網路和隨機布林網路中的計算效能。

該研究提供了憶阻奈米線網路中雪崩臨界性的證據,並表明在一階(不連續)相變附近發生了類似臨界狀態。我們還展示了神經形態奈米線網路中混沌邊緣臨界性的第一個證據,並證明了資訊處理在混沌邊緣針對計算複雜的任務進行了最佳化。

該研究結果

揭示了對神經啟發學習的新見解,表明除了非線性神經記憶連線之外,神經形態網路結構促進的適應性集體動力學對於新興的類腦功能至關重要

。”

參考:https://www。nature。com/articles/s41467-021-24260-z