生成式人工智慧可以改變組織，幫助創造出創新的應用程式，提供更好的顧客和員工體驗。智能文件處理、翻譯和摘要、靈活且有見地的客戶支持回應、個性化的行銷內容，以及圖像和程式碼生成，都是許多組織正在實施的生成式人工智慧應用案例。
大型組織通常有許多業務單位和多條業務線（LOB），並且有一個中央管理機構，通常會使用 AWS Organizations 和 Amazon Web Services (AWS) 的多帳戶策略。他們實施登陸區域來自動化安全帳戶的創建，並簡化跨帳戶的管理，包括日誌記錄、監控和審計。雖然業務單位運行自己的帳戶和工作負載，但中央團隊，例如雲端卓越中心 (CCoE)，負責管理身份、保護措施和訪問政策。
隨著生成式人工智慧的普及，組織應該建立一個生成式人工智慧運作模型。運作模型定義了組織設計、核心流程、技術、角色和責任、治理結構以及推動業務運作的財務模型。
在這篇文章中，我們將評估不同的生成式人工智慧運作模型架構。
運作模型模式
組織可以根據其在靈活性、治理和集中控制方面的優先事項，採用不同的生成式人工智慧運作模型。在生成式人工智慧的背景下，治理是指簡化這些技術的負責任開發、部署和使用的框架、政策和流程。它包括一系列旨在減輕風險、促進問責制以及使生成式人工智慧系統與道德原則和組織目標一致的措施。三種常見的運作模型模式是去中心化、集中化和聯邦化，如下圖所示。
去中心化模型
在去中心化的方式中，生成式人工智慧的開發和部署由各個業務單位自行啟動和管理。業務單位對其在各自 AWS 帳戶中的人工智慧工作流程、模型和數據擁有自主權。
這使得業務單位能夠更快地推出市場，因為他們可以迅速實驗並推出符合自己需求的生成式人工智慧解決方案。然而，即使在去中心化模型中，業務單位通常也必須與中央治理控制對齊，並獲得 CCoE 團隊的批准才能進行生產部署，遵循全球企業標準，例如訪問政策、模型風險管理、數據隱私和合規性，這可能會增加治理的複雜性。
集中化模型
在集中化運作模型中，所有生成式人工智慧活動都通過一個中央的生成式人工智慧和機器學習 (AI/ML) 團隊進行，該團隊負責提供和管理整個企業的端到端人工智慧工作流程、模型和數據。
業務單位與中央團隊互動以滿足其人工智慧需求，這在靈活性和可能增加的市場推出時間之間進行權衡，以獲得更強的自上而下的治理。集中化模型可能會引入瓶頸，減慢市場推出速度，因此組織需要為團隊提供足夠的人力資源和自動化流程，以有效滿足各業務單位的需求。如果未能擴大團隊規模，則可能會抵消集中化方法的治理好處。
聯邦化模型
聯邦化模型在生成式人工智慧過程的關鍵活動由中央生成式人工智慧/機器學習平台團隊管理的情況下取得平衡。
雖然業務單位推動其人工智慧用例，但中央團隊負責治理保護措施、模型風險管理、數據隱私和合規性。這使得業務單位能夠靈活創新，同時在治理領域提供集中監督。
生成式人工智慧架構組件
在深入了解常見的運作模型模式之前，本節將簡要概述一些在所介紹的架構中使用的組件和 AWS 服務。
大型語言模型
大型語言模型 (LLMs) 是包含數十億個參數的大規模機器學習模型，並在大量數據上進行預訓練。LLMs 可能會出現幻覺，也就是說模型可能會提供自信但事實上不正確的回應。此外，模型訓練所用的數據可能已過時，導致提供不準確的回應。減少 LLMs 提供錯誤信息的一種方法是使用稱為檢索增強生成 (RAG) 的技術。RAG 是一種先進的自然語言處理技術，結合了知識檢索和生成文本模型。RAG 將預訓練語言模型的能力與基於檢索的方法結合，以生成更具信息性和準確性的回應。要設置 RAG，您需要擁有一個向模型提供相關源文件的向量數據庫。使用 RAG，相關的文件片段或其他文本會被檢索並與 LLMs 共享，以生成針對性的回應，提升內容質量和相關性。
Amazon Bedrock 是一項完全管理的服務，提供來自領先人工智慧公司的高性能基礎模型 (FMs) 的選擇，包括 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon，並通過單一 API 提供一系列構建生成式人工智慧應用所需的功能，確保安全、隱私和負責任的人工智慧。
Amazon SageMaker JumpStart 提供來自第三方供應商的專有 FMs 的訪問，例如 AI21 Labs、Cohere 和 LightOn。此外，Amazon SageMaker JumpStart 還引入並維護來自第三方來源的開源 FMs，例如 Hugging Face。
數據來源、嵌入和向量存儲
組織的特定領域數據，提供上下文和相關性，通常存儲在內部數據庫、數據湖、非結構化數據庫或文檔存儲中，統稱為組織數據來源或專有數據存儲。
向量存儲是一種系統，可以用來大規模存儲和查詢向量，並使用高效的最近鄰查詢算法和適當的索引來改善數據檢索。它不僅包括組織數據的嵌入（以向量形式的數據數學表示），還包括來自數據的原始文本片段。這些向量由專門的嵌入 LLMs 生成，這些模型處理組織的文本片段以創建數字表示（向量），並將其與文本片段一起存儲在向量存儲中。要全面了解向量存儲和嵌入，您可以參考《向量數據庫在生成式人工智慧應用中的作用》。
使用 Amazon Bedrock 知識庫，您可以安全地將 Amazon Bedrock 中的 FMs 連接到您的公司數據以進行 RAG。Amazon Bedrock 知識庫促進來自各種支持的數據來源的數據攝取；管理數據分塊、解析和嵌入；並用嵌入填充向量存儲。由於所有這些都作為服務提供，您可以將 Amazon Bedrock 知識庫視為一個完全管理且無伺服器的選擇，以使用 RAG 構建強大的對話式人工智慧系統。
保護措施
內容過濾機制作為保護措施實施，以控制用戶與人工智慧的互動，符合應用需求和負責任的人工智慧政策，並最小化不良和有害內容。保護措施可以檢查用戶輸入和 FMs 輸出，過濾或拒絕不安全的主題，刪除個人識別信息 (PII)，並增強生成式人工智慧應用中的內容安全和隱私。
Amazon Bedrock 保護措施是 Amazon Bedrock 的一個功能，您可以用來設置保護措施。您可以根據公司政策確定什麼符合標準。這些保護措施與 FMs 無關。您可以根據特定用例創建多個配置不同的保護措施。要了解 Amazon Bedrock 保護措施的評價，您可以參考這些博客文章：《Amazon Bedrock 的保護措施幫助實施根據您的用例和負責任的人工智慧政策定制的保護措施》和《Amazon Bedrock 的保護措施現在可用，並帶有新的安全過濾器和隱私控制》。
運作模型架構
本節提供三種運作模型的概述。
去中心化運作模型
在去中心化運作模型中，業務單位團隊保持對其 AWS 帳戶的控制和擁有權。每個業務單位在其各自的 AWS 帳戶中配置和協調生成式人工智慧組件、共通功能、應用程式和 Amazon Bedrock 配置。這個模型使業務單位能夠根據其特定需求量身定制生成式人工智慧解決方案，同時利用 Amazon Bedrock 的強大功能。
在這個模型中，業務單位配置核心組件，例如 LLMs 和保護措施，而 Amazon Bedrock 服務帳戶則管理接口端點的托管、執行和提供。這些端點使業務單位能夠訪問和與他們配置的 Amazon Bedrock 服務互動。
每個業務單位使用 Amazon CloudWatch Logs 和 AWS CloudTrail 監控和審計其配置的 Amazon Bedrock 服務，進行日誌捕獲、分析和審計，以滿足其需求。Amazon Bedrock 的成本和使用情況將記錄在每個業務單位的 AWS 帳戶中。通過採用這種去中心化模型，業務單位保持對其生成式人工智慧解決方案的控制，同時受益於 Amazon Bedrock 的可擴展性、可靠性和安全性。
以下圖顯示了去中心化運作模型的架構。
集中化運作模型
集中化 AWS 帳戶作為配置和管理核心生成式人工智慧功能的主要中心，包括可重用的代理、提示流程和共享庫。業務單位團隊將其業務特定需求和用例提供給集中團隊，後者再將適當的生成式人工智慧組件整合並協調到集中帳戶中。
雖然生成式人工智慧解決方案的協調和配置位於集中帳戶中，但它們通常需要與業務單位特定資源和服務互動。為了促進這一點，集中帳戶使用 API 閘道或業務單位 AWS 帳戶提供的其他整合點。這些整合點使集中生成式人工智慧協調與業務單位的業務特定應用、數據來源或服務之間的安全和可控通信成為可能。這種集中化運作模型促進了整個組織中生成式人工智慧解決方案的一致性、治理和可擴展性。
集中團隊保持遵循共同標準、最佳實踐和組織政策，同時促進生成式人工智慧組件的高效共享和重用。此外，Amazon Bedrock 的核心組件，例如 LLMs 和保護措施，繼續由 AWS 在 Amazon Bedrock 服務帳戶中托管和執行，促進這些關鍵組件的安全、可擴展和高性能執行環境。在這種集中化模型中，Amazon Bedrock 的監控和審計可以在集中帳戶中實現，允許對所有生成式人工智慧活動和配置進行全面的監控、審計和分析。Amazon CloudWatch Logs 提供了整個組織的生成式人工智慧操作的統一視圖。
通過在集中帳戶中整合生成式人工智慧解決方案的協調和配置，同時促進與業務單位特定資源的安全整合，這種運作模型促進了標準化、治理和對生成式人工智慧操作的集中控制。它利用 AWS 管理基礎設施和服務的可擴展性、可靠性、安全性和集中監控能力，同時仍允許與業務單位特定需求和用例的整合。
以下是集中化運作模型的架構。
聯邦化運作模型
在聯邦化模型中，Amazon Bedrock 促進了一種協作方式，業務單位團隊可以在各自的 AWS 帳戶中開發和貢獻共通的生成式人工智慧功能。這些共通功能，例如可重用的代理、提示流程或共享庫，可以遷移到由專門團隊或 CCoE 管理的集中 AWS 帳戶中。
集中 AWS 帳戶作為整合和協調這些共通生成式人工智慧組件的中心，為行動小組和提示流程提供統一的平台。雖然生成式人工智慧解決方案的協調和配置仍然位於業務單位的 AWS 帳戶中，但它們可以使用集中帳戶中定義的集中 Amazon Bedrock 代理、提示流程和其他共享組件。
這種聯邦化模型允許業務單位保留對其生成式人工智慧解決方案的控制，根據特定業務需求進行調整，同時受益於可重用和集中管理的組件。集中帳戶保持這些共享生成式人工智慧組件的一致性、治理和可擴展性，促進整個組織的協作和標準化。
組織通常更喜歡將敏感數據（包括支付卡行業 (PCI)、個人識別信息 (PII)、通用數據保護法 (GDPR) 和健康保險流通與問責法 (HIPAA) 信息）存儲在各自的業務單位 AWS 帳戶中。這種方法確保業務單位在向量存儲中保持對其敏感業務數據的控制，同時防止集中團隊在沒有適當治理和安全措施的情況下訪問這些數據。
聯邦化模型結合了去中心化開發、集中整合和集中監控。這種運作模型促進了協作、可重用性和標準化，同時賦予業務單位保留對其生成式人工智慧解決方案的控制。它利用 AWS 管理基礎設施和服務的可擴展性、可靠性、安全性和集中監控能力，促進自主性和治理之間的和諧平衡。
以下是聯邦化運作模型的架構。
成本管理
組織可能希望分析 Amazon Bedrock 在每個業務單位的使用情況和成本。為了跟踪各業務單位 AWS 帳戶中 FMs 的成本和使用情況，可以實施記錄每個業務單位模型調用的解決方案。
Amazon Bedrock 現在支持使用推理配置文件的模型調用資源。可以定義推理配置文件來跟踪 Amazon Bedrock 使用指標、監控模型調用請求，或將模型調用請求路由到多個 AWS 區域以提高吞吐量。
推理配置文件有兩種類型。跨區域推理配置文件是在 Amazon Bedrock 中預定義的，包括可以路由請求的多個 AWS 區域。另一種是應用推理配置文件，這是用戶創建的，用於跟踪按需模型調用請求的成本和模型使用情況。您可以將自定義標籤（例如成本分配標籤）附加到您的應用推理配置文件。在提交提示時，您可以包括推理配置文件 ID 或其 Amazon 資源名稱 (ARN)。這一功能使組織能夠跟踪和監控各業務單位、成本中心或應用的成本。要詳細了解應用推理配置文件，請參考這篇文章：《使用 Amazon Bedrock 跟踪、分配和管理您的生成式人工智慧成本和使用情況》。
結論
雖然企業通常以集中化運作模型開始，但生成式人工智慧技術的快速發展、對靈活性的需求以及迅速獲取價值的渴望，通常會導致組織最終採用聯邦化運作模型。
在聯邦化運作模型中，業務單位有自由創新和實驗生成式人工智慧解決方案的空間，利用其領域專業知識和對業務問題的接近。人工智慧工作流程的關鍵方面，例如數據訪問政策、模型風險管理和合規性監控，則由中央雲治理團隊管理。由業務單位開發的成功生成式人工智慧解決方案可以由中央團隊推廣並進行生產化，以便在整個企業中重用。
這種聯邦化模型促進了來自最接近領域問題的業務單位的創新。同時，它允許中央團隊策劃、加強和擴展這些解決方案，以符合組織政策，然後有效地重新部署到業務的其他相關領域。
為了維持這種運作模型，企業通常會建立一個專門的產品團隊，與業務單位合作，並由業務負責人負責。這個團隊負責不斷發展運作模型，重構和增強生成式人工智慧服務，以幫助滿足業務單位不斷變化的需求，並跟上 LLMs 和其他生成式人工智慧技術的快速進展。
聯邦化運作模型取得了平衡，減輕了完全去中心化的風險，同時最小化了過度集中化方法帶來的瓶頸。通過賦予業務靈活性並由中央團隊進行策劃，企業可以加速合規、高品質的生成式人工智慧能力，與其創新目標、風險容忍度和快速價值交付的需求保持一致，適應不斷變化的人工智慧環境。
隨著企業尋求利用生成式人工智慧革命，Amazon Bedrock 提供了理想的基礎，以建立靈活的運作模型，根據其組織需求進行調整。無論您是從集中化、去中心化還是聯邦化方法開始，AWS 都提供了一整套服務，以支持完整的生成式人工智慧生命週期。
試用 Amazon Bedrock，並告訴我們您打算如何實施適合您組織的運作模型的反饋。
關於作者
Martin Tunstall 是 AWS 的首席解決方案架構師。他在金融行業擁有超過三十年的經驗，幫助全球金融和保險客戶發揮 Amazon Web Services (AWS) 的全部潛力。
Yashar Araghi 是 AWS 的高級解決方案架構師。他在設計和構建基礎設施及應用安全解決方案方面擁有超過 20 年的經驗，曾與政府、教育、金融、能源和公用事業等各行各業的客戶合作。在 AWS 的過去 6 年中，Yashar 幫助客戶設計、構建和運營其安全、可靠、高效和成本優化的雲解決方案。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
