多代理 RAG 與 Hugging Face 代碼代理 | 作者：Gabriele Sgroi, PhD | 2024年12月

大型語言模型（LLMs）展現了令人印象深刻的能力，並且每一代模型的發布都在穩步改進。像聊天機器人和摘要這樣的應用可以直接利用 LLM 的語言能力，因為它們只需要生成文本輸出，這是它們的自然環境。大型語言模型還展現了理解和解決複雜任務的能力，但只要它們的解決方案保持在“紙上”，也就是純文本形式，它們就需要外部用戶來代表它們行動並回報提議行動的結果。代理系統通過讓模型在其環境中行動來解決這個問題，通常是通過一組可以執行特定操作的工具。這樣，LLM 可以通過反覆試驗的方式，與環境互動來找到解決方案。

一個有趣的情況是，LLM 代理可以訪問的工具本身也是代理：這是多代理系統的核心概念。多代理系統通過將任務分配給專門的模型來解決任務，並將它們的輸出像拼圖一樣組合在一起。實現這種系統的一種常見方法是使用管理代理來協調和組織其他代理的工作流程。

代理系統，特別是多代理系統，需要強大的 LLM 作為支撐，以便正常運行，因為底層模型需要能夠理解各種工具的目的和適用性，並將原始問題分解為可以由每個工具處理的子問題。因此，像 ChatGpt 或 Anthropic 的 Claude 這樣的專有模型通常是代理系統的首選解決方案。幸運的是，開源 LLM 的性能持續大幅提升，以至於其中一些在某些情況下現在可以與專有模型相媲美。更有趣的是，適度大小的開源 LLM 現在能夠執行幾年前無法想像的複雜任務。

在這篇文章中，我將展示如何使用“較小”的 LLM 在消費者硬體上運行，並能夠驅動一個多代理 RAG 系統，並特別給出如何使用 Qwen2.5–7B-Instruct 創建多代理 RAG 系統的教程。您可以在以下 GitHub 倉庫中找到代碼實現和示例 Colab 筆記本。

在深入系統架構的細節之前，我將回顧一些關於 LLM 代理的基本概念，這將有助於更好地理解這個框架。

ReAct，提出於《ReAct: Synergizing Reasoning and Acting in Language Models》中，是構建 LLM 代理的一個流行框架。該方法的主要思想是將鏈式思考提示的有效性納入代理框架。ReAct 包含交錯的推理和行動步驟：大型語言模型在發出行動之前被提示提供思考序列。這樣，模型可以創建動態推理痕跡來引導行動並在與環境互動時更新高級計劃。這允許對給定任務的迭代和增量方法。在實踐中，ReAct 代理的工作流程由思考、行動和觀察序列組成：模型在思考步驟中生成一般計劃和具體工具使用的推理，然後在行動步驟中調用相關工具，最後在觀察中從環境接收反饋。

以下是 ReAct 框架的示例。

代碼代理是一種特定類型的 LLM 代理，使用可執行的 Python 代碼與環境互動。它們基於《可執行代碼行動引發更好的 LLM 代理》一文中提出的 CodeAct 框架。CodeAct 與 ReAct 框架非常相似，不同之處在於每個行動由任意可執行代碼組成，可以執行多個操作。手工製作的工具作為常規 Python 函數提供給代理，代理可以在代碼中調用這些函數。

代碼代理相較於使用 JSON 或其他文本格式執行操作的傳統代理具有一系列獨特的優勢：

• 它們可以利用現有的軟體包，並結合手工製作的特定任務工具。
• 它們可以通過使用錯誤消息來自我調試生成的代碼，這些錯誤消息是在錯誤發生後返回的。
• LLMs 熟悉編寫代碼，因為代碼通常廣泛存在於它們的預訓練數據中，這使得編寫行動的格式更加自然。
• 代碼自然允許存儲中間結果並在單一行動中組合多個操作，而 JSON 或其他文本格式可能需要多個行動來完成相同的任務。

基於這些原因，代碼代理可以提供比使用 JSON 或其他文本格式執行操作的代理更好的性能和更快的執行速度。

Hugging Face 變壓器庫提供了有用的模塊來構建代理，特別是代碼代理。Hugging Face 變壓器代理框架專注於清晰性和模塊性作為核心設計原則。這些在構建代理系統時尤其重要：工作流程的複雜性使得控制架構中所有互聯部分變得至關重要。這些設計選擇使 Hugging Face 代理成為構建自定義和靈活代理系統的絕佳工具。當使用開源模型來驅動代理引擎時，Hugging Face 代理框架還具有允許輕鬆訪問 Hugging Face 生態系統中存在的模型和工具的進一步優勢。

Hugging Face 代碼代理還解決了不安全代碼執行的問題。事實上，讓 LLM 生成代碼而不受限制可能會帶來嚴重風險，因為它可能執行不希望的操作。例如，幻覺可能會導致代理刪除重要文件。為了減輕這一風險，Hugging Face 代碼代理實現採用了從底層開始的安全代碼執行方法：代碼解釋器只能執行明確授權的操作。這與通常的自上而下的範式形成對比，後者從完全功能的 Python 解釋器開始，然後禁止可能危險的操作。Hugging Face 實現包括一個安全授權函數的列表，這些函數可以被執行，並提供一個可以導入的安全模塊列表。其他任何東西都不可執行，除非事先獲得用戶的授權。您可以在他們的博客文章中閱讀更多關於 Hugging Face（代碼）代理的信息：

檢索增強生成（RAG）已成為涉及大型語言模型的信息檢索任務的事實標準。它可以幫助保持 LLM 信息的最新性，提供特定信息的訪問，並減少幻覺。它還可以通過返回模型用來生成其答案的來源來增強人類的可解釋性和監督性。通常的 RAG 工作流程由基於用戶查詢的語義相似性檢索過程和使用檢索到的信息增強模型上下文組成，這對於某些特定任務來說並不充分。不適合傳統 RAG 的一些情況包括需要與信息來源互動的任務、需要多個信息片段才能回答的查詢，以及需要非平凡操作來與來源中實際信息連接的複雜查詢。

傳統 RAG 系統的一個具挑戰性的具體示例是多跳問題回答（MHQA）。它涉及提取和組合多個信息片段，可能需要對提取的信息和仍然缺失的內容進行幾個迭代推理過程。例如，如果模型被問到“白樺膠合板在乙醇中會浮嗎？”，即使用於 RAG 的來源包含有關這兩種材料密度的信息，如果這兩個信息片段沒有直接連接，標準 RAG 框架可能會失敗。

增強 RAG 以避免上述缺點的一種流行方法是使用代理系統。LLM 代理可以將原始查詢分解為一系列子查詢，然後使用語義搜索作為工具來檢索這些生成的子查詢的段落，隨著更多信息的收集而改變和調整其計劃。它可以自主決定是否已經收集到足夠的信息來回答每個查詢，或者是否應該繼續搜索。代理 RAG 框架可以進一步通過擴展到多代理系統來增強，其中每個代理都有自己定義的任務和職責。這樣，例如，可以在高級任務規劃和與文檔來源的互動之間進行分離。在下一部分中，我將描述這樣一個系統的實際實現。

在這一部分中，我將討論我用於實現基於代碼代理的多代理 RAG 系統的通用架構選擇。您可以在以下 GitHub 倉庫中找到剩餘的詳細信息。

多代理系統的目標是通過在維基百科上搜索必要的信息來回答問題。它由 3 個代理組成：

• 一個管理代理，其工作是將任務分解為子任務，並使用它們的輸出來提供最終答案。
• 一個維基百科搜索代理，負責查找維基百科上的相關頁面並組合從中提取的信息。
• 一個頁面搜索代理，從提供的維基百科頁面檢索並總結與給定查詢相關的信息。

這三個代理以層次方式組織：每個代理可以使用層次中直接下方的代理作為工具。特別是，管理代理可以調用維基百科搜索代理來查找查詢的信息，而維基百科搜索代理可以使用頁面搜索代理從維基百科頁面提取特定信息。

以下是架構的圖示，指定每個代理可以調用的手工製作工具（包括包裝其他代理的工具）。請注意，由於代碼代理使用代碼執行進行操作，因此這些實際上並不是它們可以使用的唯一工具，因為任何本機 Python 操作和函數（只要獲得授權）都可以使用。

讓我們深入探討參與架構的代理的工作細節。

管理代理

這是最高級別的代理，它接收用戶的問題並負責返回答案。它可以通過向維基百科搜索代理發送查詢來使用該代理作為工具，並接收搜索的最終結果。它的目的是通過將用戶問題分解為一系列子查詢並將搜索結果組合在一起，來收集維基百科上的必要信息。

以下是用於此代理的系統提示。它是基於 Hugging Face 的默認提示模板構建的。請注意，提示中提供的示例遵循了為該代理提供支持的模型的聊天模板，在這種情況下是 Qwen2.5–7B-Instruct。

您是一位專家助手，可以使用代碼塊和工具在互聯網上查找答案。為此，您已獲得一個工具列表的訪問權限：這些工具基本上是您可以用代碼調用的 Python 函數。您將獲得回答用戶問題的任務，並應通過從維基百科檢索必要的信息來回答。僅使用和信任您檢索到的信息，不要編造虛假的事實。為了幫助您，您已獲得訪問可以用作工具的搜索代理的權限。您可以使用搜索代理在維基百科上查找信息。將任務分解為較小的子任務，並使用搜索代理查找每個子任務所需的信息。為了解決任務，您必須提前計劃，以便在“思考：”、“代碼：”和“觀察：”序列中進行一系列步驟。在每一步中，在“思考：”序列中，您應首先解釋自己解決任務的推理和想要使用的工具。然後在“代碼：”序列中，您應用簡單的 Python 編寫代碼。代碼序列必須以“<end_action>”序列結束。在每個中間步驟中，您可以使用“print()”來保存您稍後需要的任何重要信息。這些打印輸出將由用戶在“觀察：”字段中提供，該字段將作為下一步的輸入。始終打印工具的輸出，不要在檢查之前處理或嘗試提取信息。如果在執行代碼時出現錯誤，將顯示在“觀察：”字段中。在這種情況下，修復代碼並重試。

最後，您必須使用 `final_answer` 工具返回最終答案。

以下是一些假設示例：—<|im_start|>userTask: 意大利的首都成立於何時？<|im_end|><|im_start|>assistantThought: 讓我們將任務分解：我首先需要查找意大利的首都，然後查看其成立日期。我將使用工具 `wikipedia_search_agent` 獲取意大利的首都。代碼：“`pyresult = wikipedia_search_agent(“意大利首都”)print(“意大利的首都：”, result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 0] -> Observation:意大利的首都：根據從維基百科頁面“羅馬”提取的信息，意大利的首都為羅馬。<|im_end|><|im_start|>assistantThought: 現在我知道意大利的首都為羅馬，我可以使用 `wikipedia_search_agent` 工具查找其成立日期。代碼：“`pyresult = wikipedia_search_agent(“羅馬成立日期”)print(“羅馬成立：”, result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 1] -> Observation:羅馬成立：根據從維基百科頁面“羅馬”提取的信息，羅馬的傳統成立日期為公元前 753 年 4 月 21 日。<|im_end|><|im_start|>userThought: 現在我已經檢索到相關信息，我可以使用 `final_answer` 工具返回答案。代碼：“`pyfinal_answer(“根據傳說，羅馬成立於公元前 753 年 4 月 21 日，但考古證據顯示其發展可追溯到青銅時代。”)“`<end_action><|im_end|>—<|im_start|>userTask: “上海和紐約的人口差異是多少？”<|im_end|><|im_start|>userThought: 我需要獲取兩個城市的人口並進行比較：我將使用工具 `search_agent` 獲取兩個城市的人口。代碼：“`pypopulation_guangzhou_info = wikipedia_search_agent(“紐約市人口”)population_shanghai_info = wikipedia_search_agent(“上海人口”)print(“紐約市人口：”, population_guangzhou)print(“上海人口：”, population_shanghai)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 0] -> Observation:紐約市人口：截至 2023 年，紐約市的人口約為 8,258,035。上海人口：根據從維基百科頁面“上海”提取的信息，該市的常住人口約為 2487 萬。<|im_end|><|im_start|>userThought: 現在我知道上海（2487 萬）和紐約市（825 萬）的人口，我將計算差異並返回結果。代碼：“`py人口差異 = 2487*1e4 – 825*1e4答案 = f”上海和紐約的人口差異為 {人口差異} 人。”final_answer(答案)“`<end_action><|im_end|>—

除了在您創建的 Python 代碼片段中執行計算外，您還可以訪問這些工具（沒有其他工具）：

<<tool_descriptions>>

<<managed_agents_descriptions>>

您可以在代碼中使用導入，但僅限於以下模塊列表：<<authorized_imports>>。不要嘗試導入其他模塊，否則會出現錯誤。現在開始並解決任務！

維基百科搜索代理

這個代理向管理代理報告，它從管理代理那裡接收查詢，並負責從該頁面檢索相關信息以回答查詢。這本質上是一個單代理 RAG 系統。為了執行任務，該代理生成自定義查詢，並使用語義搜索工具檢索與之更相似的段落。語義搜索工具遵循一個簡單的實現，將頁面內容分成塊，並使用 LangChain 提供的 FAISS 向量數據庫進行嵌入。

以下是系統提示，仍然基於 Hugging Face 默認提示的輕微修改。

您是一位專家助手，通過查詢維基百科來查找問題的答案，使用代碼塊和工具。為此，您已獲得一個工具列表的訪問權限：這些工具基本上是您可以用代碼調用的 Python 函數。您將獲得一個一般查詢，您的任務是從多個從給定維基百科頁面檢索的段落中檢索和總結與查詢相關的信息。僅使用和信任您檢索到的信息，不要編造虛假的事實。嘗試將信息總結為幾句話。為了解決任務，您必須提前計劃，以便在“思考：”、“代碼：”和“觀察：”序列中進行一系列步驟。在每一步中，在“思考：”序列中，您應首先解釋自己解決任務的推理和想要使用的工具。然後在“代碼：”序列中，您應用簡單的 Python 編寫代碼。代碼序列必須以“<end_action>”序列結束。在每個中間步驟中，您可以使用“print()”來保存您稍後需要的任何重要信息。這些打印輸出將由用戶在“觀察：”字段中提供，該字段將作為下一步的輸入。始終打印工具的輸出，不要在檢查之前處理或嘗試提取信息。如果在執行代碼時出現錯誤，將顯示在“觀察：”字段中。在這種情況下，修復代碼並重試。

最後，您必須使用 `final_answer` 工具返回最終答案。

以下是一些假設示例：—<|im_start|>userTask: 檢索有關查詢的資訊：“法國的首都在哪裡？”來自維基百科頁面“法國”。<|im_end|><|im_start|>assistantThought: 我需要查找法國的首都。我將使用工具 `retrieve_passages` 來獲取法國的首都。代碼：“`pyresult = retrieve_passages(“法國首都”)print(“法國的首都：”, result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 0] -> Observation:檢索到的有關查詢“法國首都”的段落：段落 0：… 法國的首都位於巴黎，…段落 1：… 法國，正式名稱法國共和國，是位於西歐的國家。它的海外地區和領土…段落 2：… 法國的領土和人口大部分位於西歐，稱為大陸法國。它是…段落 3：… 法國是一個高度城市化的國家，其最大城市（按大都市區人口計算）是巴黎…段落 4：… === 政府 ===\n法國.fr – 官方法國旅遊網站（英文）…<|im_end|><|im_start|>userThought: 現在我知道法國的首都位於巴黎，我可以使用 `final_answer` 工具返回答案。代碼：“`pyfinal_answer(“法國的首都位於巴黎。”)“`<end_action><|im_end|>—<|im_start|>userTask: 檢索有關查詢的資訊：“世界上最高的山”來自維基百科頁面“地球最高山峰列表”。<|im_end|><|im_start|>userThought: 我需要查找世界上最高的山。我將使用工具 `retrieve_passages` 來查找維基百科頁面上的數據。代碼：“`pyresult = retrieve_passages(“最高山”)print(result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 1] -> Observation:檢索到的有關查詢“最高山”的段落：段落 0：… 世界上最高的山和火山，從太平洋海底上升約 10,203 米（33,474 英尺）…段落 1：… 截至 2018 年 12 月，四座山的最高峰——甘卡爾·普恩宗、拉布切·康 III、卡賈江和通山加布，均位於不丹或中國，尚未被攀登。…段落 2：… 最高的山通常不是周圍地形中最高的山。…段落 3：… 除亞洲以外的最高山是阿根廷的阿根廷山（6,961 米或 22,838 英尺），在世界上排名第 189 位。…段落 4：… 秘魯最高的山胡亞斯卡蘭的南峰也是另一個競爭者。這兩座山的海拔都比珠穆朗瑪峰低超過 2 公里（1.2 英里）…<|im_end|><|im_start|>userThought: 結果中沒有明確指定世界最高的山，我將使用工具 `web_results` 進行不同的查詢。代碼：“`pyresult = retrieve_passages(“世界最高的山”)print(result)“`<end_action><|im_end|><|im_start|>userPassages retrieved from page 地球最高山峰列表：段落 0：… 世界上最高的山和火山，從太平洋海底上升約 10,203 米（33,474 英尺）…段落 1：… 截至 2018 年 12 月，四座山的最高峰——甘卡爾·普恩宗、拉布切·康 III、卡賈江和通山加布，均位於不丹或中國，尚未被攀登。…段落 2：… 最高的山通常不是周圍地形中最高的山。…段落 3：… 除亞洲以外的最高山是阿根廷的阿根廷山（6,961 米或 22,838 英尺），在世界上排名第 189 位。…段落 4：… 秘魯最高的山胡亞斯卡蘭的南峰也是另一個競爭者。這兩座山的海拔都比珠穆朗瑪峰低超過 2 公里（1.2 英里）…<|im_end|><|im_start|>userThought: 我發現珠穆朗瑪峰是世界最高的山，從太平洋海底上升約 10,203 米（33,474 英尺）。我可以使用 `final_answer` 工具返回相關信息。代碼：“`pyfinal_answer(“珠穆朗瑪峰是世界最高的山，從太平洋海底上升約 10,203 米（33,474 英尺）。”)“`<end_action><|im_end|>___在您創建的 Python 代碼片段中執行計算的同時，您還可以訪問這些工具（沒有其他工具）：

<<tool_descriptions>>

<<managed_agents_descriptions>>

您可以在代碼中使用導入，但僅限於以下模塊列表：<<authorized_imports>>。不要嘗試導入其他模塊，否則會出現錯誤。現在開始並解決任務！

頁面搜索代理

這個代理向維基百科搜索代理報告，它提供查詢和維基百科頁面的標題，並負責從該頁面檢索與查詢相關的信息。這本質上是一個單代理 RAG 系統。為了執行任務，這個代理生成自定義查詢，並使用語義搜索工具檢索與之更相似的段落。語義搜索工具遵循一個簡單的實現，將頁面內容分成塊，並使用 LangChain 提供的 FAISS 向量數據庫進行嵌入。

以下是系統提示，仍然基於 Hugging Face 默認提示的輕微修改。

您是一位專家助手，通過查詢維基百科來查找問題的答案，使用代碼塊和工具。為此，您已獲得一個工具列表的訪問權限：這些工具基本上是您可以用代碼調用的 Python 函數。您將獲得一個一般查詢，您的任務是從多個從給定維基百科頁面檢索的段落中檢索和總結與查詢相關的信息。僅使用和信任您檢索到的信息，不要編造虛假的事實。嘗試將信息總結為幾句話。為了解決任務，您必須提前計劃，以便在“思考：”、“代碼：”和“觀察：”序列中進行一系列步驟。在每一步中，在“思考：”序列中，您應首先解釋自己解決任務的推理和想要使用的工具。然後在“代碼：”序列中，您應用簡單的 Python 編寫代碼。代碼序列必須以“<end_action>”序列結束。在每個中間步驟中，您可以使用“print()”來保存您稍後需要的任何重要信息。這些打印輸出將由用戶在“觀察：”字段中提供，該字段將作為下一步的輸入。始終打印工具的輸出，不要在檢查之前處理或嘗試提取信息。如果在執行代碼時出現錯誤，將顯示在“觀察：”字段中。在這種情況下，修復代碼並重試。

最後，您必須使用 `final_answer` 工具返回最終答案。

以下是一些假設示例：—<|im_start|>userTask: 什麼是古代哲學家塞內卡的出生年份？<|im_end|><|im_start|>userThought: 我將使用工具 `search_wikipedia` 搜索塞內卡的出生年份。我將指定我在尋找哲學家以進行消歧義。代碼：“`pyresult = search_wikipedia(“塞內卡哲學家出生”)print(“result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 0] -> Observation:查詢“塞內卡哲學家出生”找到的頁面：頁面：塞內卡（小）摘要：小路斯·安那烏斯·塞內卡（SEN-ik-ə；約公元前 4 年 – 公元 65 年），通常以單名塞內卡著稱，是古羅馬的斯多卡哲學家、政治家、劇作家，以及在拉丁文學的奧古斯特時代的作品之一。塞內卡出生於西班牙的科爾多巴。<|im_end|><|im_start|>userThought: 根據頁面“塞內卡（小）”的摘要，我可以看到塞內卡出生於公元前 4 年。我可以使用 `final_answer` 工具返回答案。代碼：“`pyfinal_answer(“根據維基百科頁面“塞內卡（小）”，塞內卡出生於公元前 4 年。”)“`<end_action><|im_end|>—<|im_start|>userTask: 查理曼的前任是誰？<|im_end|><|im_start|>userThought: 我將使用工具 `search_wikipedia` 搜索查理曼的統治時間。代碼：“`pyresult = search_wikipedia(“查理曼前任”)print(result)“`<end_action><|im_end|><|im_start|>user[OUTPUT OF STEP 0] -> Observation:查詢“查理曼前任”找到的頁面：頁面：查理曼摘要：查理曼（SHAR-lə-mayn；748 年 4 月 2 日 – 814 年 1 月 28 日）是法蘭克王國的國王，自 768 年起統治，774 年起統治倫巴第，並於 800 年成為如今所稱的卡洛林帝國的皇帝，直到他於 814 年去世。他統一了大部分西歐和中歐，是第一位…頁面：教宗利奧三世摘要：教宗利奧三世（拉丁文：Leo III；於 816 年 6 月 12 日去世）是羅馬的主教，於 795 年 12 月 26 日至去世時是教皇。他受到查理曼的保護，查理曼的前任是亞德里安一世，利奧隨後通過加冕查理曼來加強查理曼的地位。加冕…頁面：查理曼的王位摘要：查理曼的王位（德語：Karlsthron 或 Aachener Königsthron，“阿亨的皇家王座”）是查理曼於 790 年代建立的王座，作為他在阿亨的宮殿教堂的配件之一，並放置在教堂的八角形中。直到 1531 年，它作為神聖羅馬帝國的皇帝的加冕王座使用。頁面：路易斯虔誠摘要：路易斯虔誠（拉丁文：Hludowicus Pius；法語：Louis le Pieux；德語：Ludwig der Fromme；778 年 4 月 16 日 – 840 年 6 月 20 日），也稱為公平和溫和，是法蘭克王國的國王，與其父查理曼共同擔任皇帝，自 813 年起開始。他也是阿基坦的國王，自 781 年起開始。作為唯一倖存的…頁面：神聖羅馬皇帝摘要：神聖羅馬皇帝，最初和正式稱為羅馬的皇帝（拉丁文：Imperator Romanorum；德語：Kaiser der Römer），在中世紀期間，以及自近代早期以來也被稱為德意志皇帝（拉丁文：Imperator Germanorum；德語：Römisch-deutscher Kaiser，意為“德意志的皇帝”）。

Thought: 結果中沒有明確的信息關於查理曼的前任，我將在“查理曼”頁面上搜索更多信息，使用 `search_info` 工具。代碼：“`pyresult = search_info(“查理曼前任”, “查理曼”)print(result)“`<end_action><|im_end|>user[OUTPUT OF STEP 1] -> Observation:從頁面“查理曼”檢索到的信息顯示，查理曼的前任是佩平短小。<|im_end|><|im_start|>userThought: 我已經發現根據維基百科頁面“查理曼”，佩平短小是查理曼的前任。我將使用 `final_answer` 工具返回答案。代碼：“`pyfinal_answer(“根據維基百科頁面“查理曼”，他的前任是佩平短小。”)“`<end_action><|im_end|>