研究人員和愛好者們對於從簡單規則中反推複雜行為的挑戰已經著迷了幾十年。傳統上,這個領域採取自下而上的方法——定義局部規則並觀察由此產生的模式。但如果我們可以顛倒這個過程呢?我們不需要手動設計規則,而是可以開發一個完全可微分的系統,學習生成特定複雜模式所需的局部規則,同時保持細胞自動機的離散性。這種方法為以結構化和可擴展的方式自動發現規則開啟了新的可能性。
之前的研究已經探討了使用非可微分方法學習轉換規則,證明這種方法可以為特定計算任務演變局部規則。此外,研究還探索了如何使一維細胞自動機可微分,從而使基於梯度的優化技術能夠用於規則學習。在這些基礎上,我們可以開發自動發現生成所需模式的規則的系統,彌合手工製作的細胞自動機和學習的計算模型之間的差距。
谷歌的研究人員介紹了可微分邏輯細胞自動機 (Differentiable Logic Cellular Automata, DiffLogic CA),這種方法將可微分邏輯閘應用於細胞自動機。這種方法成功地複製了康威的生命遊戲 (Conway’s Game of Life) 的規則,並通過學習的離散動力學生成模式。這一方法將神經細胞自動機 (Neural Cellular Automata, NCA) 與可微分邏輯閘網絡結合起來,NCA可以學習任意行為,但缺乏離散狀態約束,而可微分邏輯閘網絡則能夠發現組合邏輯,但尚未在循環設置中進行測試。這種整合為可學習的、本地的和離散的計算鋪平了道路,可能推進可編程物質的發展。這項研究探討了可微分邏輯 CA 是否能夠學習和生成類似於傳統 NCA 的複雜模式。
NCA 將經典的細胞自動機與深度學習結合,使得通過可學習的更新規則實現自我組織。與傳統方法不同,NCA 使用梯度下降來發現動態交互,同時保持局部性和並行性。二維的細胞網格通過感知(使用索貝爾濾波器)和更新階段(通過神經網絡)進化。可微分邏輯閘網絡 (Differentiable Logic Gate Networks, DLGNs) 通過用邏輯閘替換神經元來擴展這一點,允許通過連續放鬆來學習離散操作。DiffLogic CA 進一步整合了這些概念,使用基於邏輯閘的感知和更新機制,形成一個類似於可編程物質架構(如 CAM-8)的可調整計算系統。
康威的生命遊戲是由約翰·康威 (John Conway) 在1970年提出的細胞自動機,遵循簡單的規則來管理細胞之間的互動,從而產生複雜的行為。使用 DiffLogic CA 訓練了一個模型來複製這些規則,該模型使用了16個感知電路內核和23個更新層。損失函數最小化預測狀態與實際狀態之間的平方差。對所有512個可能的3×3網格進行訓練,使得規則學習準確,並能有效擴展到更大的網格。學習到的電路複製了經典的生命遊戲模式,展示了其泛化能力、容錯性和自我修復能力,而不需要明確設計的穩健性機制。
總結來說,這項研究介紹了 DiffLogic CA,一種使用離散細胞狀態和循環二進制電路的 NCA 架構。整合深度可微分邏輯網絡使得邏輯閘的可微分訓練成為可能。該模型複製了康威的生命遊戲,並使用學習的離散動力學生成模式。與依賴昂貴矩陣運算的傳統 NCA 不同,這種方法提高了可解釋性和效率。未來的改進可能涉及層次架構和類似 LSTM 的閘機制。這項研究表明,將可微分邏輯閘與 NCA 整合可能推進可編程物質,使計算更高效,並能適應複雜模式的生成。
查看技術細節。這項研究的所有功勞都歸於這個項目的研究人員。此外,隨時在推特上關注我們,並別忘了加入我們的80k+機器學習子版塊。
🚨 介紹 Parlant:一個以 LLM 為首的對話式 AI 框架,旨在為開發者提供對其 AI 客戶服務代理的控制和精確度,利用行為指導和運行時監督。🔧 🎛️ 它使用易於使用的 CLI 📟 和 Python 及 TypeScript 的本地客戶端 SDK 操作 📦。
本文由 AI 台灣 運用 AI 技術編撰,內容僅供參考,請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團,
隨時掌握最新 AI 動態與實用資訊!