行動代理E：結合認知科學與人工智慧的分層多代理框架，以重新定義智慧型手機上的複雜任務處理

智慧型手機是我們日常生活中不可或缺的工具。然而，手機上執行的複雜任務常常讓人感到沮喪和效率低下。使用應用程式和管理多步驟的過程需要耗費時間和精力。隨著人工智慧的進步，出現了大型多模態模型 (LMMs)，使得手機助手能夠自主執行複雜的操作。雖然這些創新旨在簡化科技，但它們常常無法滿足實際需求。要解決這些問題，需要更先進的人工智慧能力和可調整的系統。

目前的手機助手在處理需要長期規劃、推理和適應能力的複雜任務時遇到困難。像是製作行程或比較價格這類任務涉及多個平台的多個步驟。這些系統將每個任務視為獨立的，缺乏從經驗中學習或優化重複任務性能的能力，導致效率低下。此外，對所有任務分配相同的資源，無論其複雜性如何，會降低在挑戰性情況下的效果。

一些框架雖然解決了這些挑戰，但在規劃和決策方面仍然有限。目前的手機代理如 AppAgent 和 Mobile-Agent-v1 專注於短期的預定任務。儘管 Mobile-Agent-v2 在規劃上有所改善，但仍未能納入有效的任務委派和精煉的層級結構。這些限制突顯了需要更先進的手機助手設計。

來自伊利諾伊大學香檳分校 (University of Illinois Urbana-Champaign) 和阿里巴巴集團 (Alibaba Group) 的研究人員開發了 Mobile-Agent-E，這是一種新型的手機助手，通過層級多代理框架來解決這些挑戰。該系統具有一個負責規劃和將任務分解為子目標的管理代理 (Manager agent)，並由四個下屬代理支持：感知者 (Perceptor)、操作員 (Operator)、行動反思者 (Action Reflector) 和記錄者 (Notetaker)。這些代理專注於視覺感知、即時行動執行、錯誤驗證和信息聚合。Mobile-Agent-E 的一個突出特點是其自我演化模塊，包含一個長期記憶系統。這個記憶系統分為兩個部分：

提示 (Tips)，提供基於先前任務的通用指導

捷徑 (Shortcuts)，是針對特定重複子程序的可重用操作序列

Mobile-Agent-E 通過反饋循環不斷改進其性能。在完成每個任務後，系統的經驗反思者 (Experience Reflectors) 會更新其提示並根據互動歷史提出新的捷徑。這些更新受到人類認知過程的啟發，其中情節記憶 (episodic memory) 影響未來的決策，而程序知識 (procedural knowledge) 促進高效的任務執行。例如，如果用戶經常執行一系列操作，如搜尋位置和創建筆記，系統會創建一個捷徑來簡化未來的這個過程。Mobile-Agent-E 通過將這些學習納入其層級框架，平衡高層次的規劃和低層次的行動精確性。

Mobile-Agent-E 的性能已使用一個新的基準測試 Mobile-Eval-E 進行測試，該測試評估系統處理複雜現實任務的能力。與現有模型相比，Mobile-Agent-E 的滿意度得分顯著提高，任務完成率增加了 15%。此外，演變的提示和捷徑減少了計算開銷，使得任務執行更快而不影響準確性。例如，結合“點擊”、“輸入”和“確認”等動作的單一捷徑可以節省兩次決策迭代，提高效率。系統的層級設計增強了錯誤恢復能力，使其能夠在任務執行過程中適應未預見的挑戰。

這項研究的主要收穫包括：