Amazon Bedrock 已經成為成千上萬客戶建立生成式人工智慧策略的首選。它提供了一種簡單、快速且安全的方式來開發先進的生成式人工智慧應用程式和體驗，以促進創新。
透過 Amazon Bedrock 的全面功能，您可以訪問各種高效能的基礎模型 (FMs)，讓您能夠選擇最適合您特定需求的選項，使用微調和檢索增強生成 (RAG) 等技術，私下自訂模型，並創建執行複雜業務任務的管理代理。
微調預訓練語言模型使組織能夠根據其特定用例自訂和優化模型，提供更好的性能和更準確的輸出，符合其獨特的數據和需求。透過使用微調功能，企業可以釋放生成式人工智慧的全部潛力，同時保持對模型行為的控制，並使其與企業的目標和價值觀保持一致。
在這篇文章中，我們將深入探討組織在微調生成式人工智慧模型時應考慮的重要安全最佳實踐。
Amazon Bedrock 的安全性
AWS 的雲端安全性是最高優先事項。Amazon Bedrock 透過全面的方法來保護客戶數據和人工智慧工作負載，將安全性放在首位。
Amazon Bedrock 的設計以安全性為核心，提供多種功能以保護您的數據和模型。其安全框架的主要方面包括：
訪問控制 – 包括以下功能：
數據加密 – Amazon Bedrock 提供以下加密：
網絡安全 – Amazon Bedrock 提供多種安全選項，包括：
支持 AWS PrivateLink 在您的虛擬私有雲 (VPC) 和 Amazon Bedrock 之間建立私密連接
VPC 端點以確保在您的 AWS 環境內安全通信
合規性 – Amazon Bedrock 符合多種行業標準和法規，包括 HIPAA、SOC 和 PCI DSS
解決方案概述
模型自訂是向模型提供訓練數據以改善其在特定用例中的性能的過程。Amazon Bedrock 目前提供以下自訂方法：
繼續預訓練 – 使得能夠通過用未標記的專有數據微調其參數，來針對特定領域調整 FM 的能力，隨著更多相關數據的可用而持續改進。
微調 – 涉及提供標記數據以訓練模型執行特定任務，使其能夠學習給定輸入的適當輸出。此過程調整模型的參數，增強其在標記訓練數據集所代表的任務上的性能。
蒸餾 – 將知識從一個更大、更智能的模型（稱為教師）轉移到一個更小、更快、成本效益更高的模型（稱為學生）的過程。
在 Amazon Bedrock 中的模型自訂涉及以下操作：
創建訓練和驗證數據集。
設置 IAM 權限以訪問數據。
配置 KMS 密鑰和 VPC。
創建微調或預訓練作業並進行超參數調整。
通過指標和評估分析結果。
購買自訂模型的預配置吞吐量。
使用自訂模型執行推理等任務。
在這篇文章中，我們將這些步驟與微調相關聯。不過，您也可以將相同的概念應用於繼續預訓練。
以下架構圖解釋了 Amazon Bedrock 模型微調的工作流程。
工作流程步驟如下：
用戶在其 AWS 帳戶中提交 Amazon Bedrock 微調作業，使用 IAM 進行資源訪問。
微調作業在模型部署帳戶中啟動訓練作業。
為了訪問您在 Amazon Simple Storage Service (Amazon S3) 桶中的訓練數據，該作業利用 Amazon Security Token Service (AWS STS) 假設角色權限進行身份驗證和授權。
通過 VPC 網絡介面訪問 S3 數據，使用在作業提交期間提供的 VPC 和子網詳細信息。
VPC 配備有 Amazon S3 和 AWS KMS 訪問的私有端點，增強整體安全性。
微調過程生成模型工件，這些工件存儲在模型提供者的 AWS 帳戶中，並使用客戶提供的 KMS 密鑰進行加密。
此工作流程在多個 AWS 帳戶之間提供安全的數據處理，同時保持客戶對敏感信息的控制，使用客戶管理的加密密鑰。
客戶對數據擁有控制權；模型提供者無法訪問數據，也無法訪問客戶的推理數據或其自訂訓練數據集。因此，數據不會提供給模型提供者以改進其基礎模型。您的數據對 Amazon Bedrock 服務團隊也不可用。
在接下來的部分中，我們將介紹在 Amazon Bedrock 中使用 Amazon Bedrock 控制台微調和部署 Meta Llama 3.1 8B Instruct 模型的步驟。
前提條件
在開始之前，請確保您具備以下前提條件：
一個 AWS 帳戶
一個 IAM 聯合角色，擁有以下訪問權限：
創建、編輯、查看和刪除 VPC 網絡和安全資源
創建、編輯、查看和刪除 KMS 密鑰
創建、編輯、查看和刪除模型自訂的 IAM 角色和政策
創建、上傳、查看和刪除 S3 桶以訪問訓練和驗證數據，並有權將輸出數據寫入 Amazon S3
列出將用於微調的基礎模型上的 FMs
為 Amazon Bedrock FM 創建自訂訓練作業
提供的模型吞吐量
列出自訂模型並在微調模型上調用模型權限
模型訪問，您可以通過 Amazon Bedrock 控制台請求
在這篇文章中，我們使用 us-west-2 AWS 區域。關於為 IAM 角色分配權限的說明，請參閱 Amazon Bedrock 的基於身份的政策範例以及 Amazon Bedrock 如何與 IAM 協作。
準備您的數據
要微調像 Meta Llama 3.1 8B Instruct 這樣的文本到文本模型，請通過創建一個包含多個 JSON 行的 JSONL 文件來準備訓練和可選的驗證數據集。
每個 JSON 行都是一個包含提示和完成字段的樣本。格式如下：
以下是用於在 Amazon Bedrock 中微調 Meta Llama 3.1 8B Instruct 的示例數據集中的一行輸入。在 JSONL 格式中，每條記錄是一行文本。
創建 KMS 對稱密鑰
當您將訓練數據上傳到 Amazon S3 時，可以使用 AWS KMS 的伺服器端加密。您可以在 AWS 管理控制台、AWS 命令行介面 (AWS CLI) 和 SDK，或 AWS CloudFormation 模板中創建 KMS 密鑰。請按照以下步驟在控制台中創建 KMS 密鑰：
在 AWS KMS 控制台中，選擇導航窗格中的客戶管理密鑰。
選擇創建密鑰。
創建一個對稱密鑰。詳細說明請參見創建 KMS 密鑰。
創建 S3 桶並配置加密
請按照以下步驟創建 S3 桶並配置加密：
在 Amazon S3 控制台中，選擇導航窗格中的桶。
選擇創建桶。
對於桶名稱，輸入一個唯一的名稱。
對於加密類型，選擇使用 AWS 密鑰管理服務密鑰的伺服器端加密。
對於 AWS KMS 密鑰，選擇從您的 AWS KMS 密鑰中選擇並選擇您創建的密鑰。
使用默認設置或根據需要自定義完成桶的創建。
上傳訓練數據
請按照以下步驟上傳訓練數據：
在 Amazon S3 控制台中，導航到您的桶。
創建文件夾 fine-tuning-datasets 和 outputs，並保持桶的加密設置為伺服器端加密。
選擇上傳並上傳您的訓練數據文件。
創建 VPC
要使用 Amazon 虛擬私有雲 (Amazon VPC) 創建 VPC，請完成以下步驟：
在 Amazon VPC 控制台中，選擇創建 VPC。
在所有可用區域中創建具有私有子網的 VPC。
創建 Amazon S3 VPC 網關端點
您可以通過設置 Amazon S3 VPC 端點來進一步保護您的 VPC，並使用基於資源的 IAM 政策來限制對包含模型自訂數據的 S3 桶的訪問。
讓我們創建一個 Amazon S3 網關端點並將其附加到 VPC，使用自訂的 IAM 基於資源的政策來更嚴格地控制對 Amazon S3 文件的訪問。
以下代碼是一個示例資源政策。使用您之前創建的桶的名稱。
為 AWS KMS VPC 介面端點創建安全組
安全組充當實例的虛擬防火牆，以控制進出流量。此 VPC 端點安全組僅允許來自附加到您的 VPC 私有子網的安全組的流量，增加了一層保護。請完成以下步驟以創建安全組：
在 Amazon VPC 控制台中，選擇導航窗格中的安全組。
選擇創建安全組。
對於安全組名稱，輸入一個名稱（例如 bedrock-kms-interface-sg）。
對於描述，輸入描述。
對於 VPC，選擇您的 VPC。
添加一條入站規則，允許來自 VPC CIDR 區塊的 HTTPS 流量。
為 Amazon Bedrock 自訂微調作業創建安全組
現在您可以創建一個安全組，以建立控制 Amazon Bedrock 自訂微調作業訪問 VPC 資源的規則。您稍後在模型自訂作業創建中將使用此安全組。請完成以下步驟：
在 Amazon VPC 控制台中，選擇導航窗格中的安全組。
選擇創建安全組。
對於安全組名稱，輸入一個名稱（例如 bedrock-fine-tuning-custom-job-sg）。
對於描述，輸入描述。
對於 VPC，選擇您的 VPC。
添加一條入站規則以允許來自安全組的流量。
創建 AWS KMS VPC 介面端點
現在您可以創建一個介面 VPC 端點 (PrivateLink)，以在 VPC 和 AWS KMS 之間建立私密連接。
對於安全組，使用您在前一步中創建的安全組。
附加一個 VPC 端點政策，以控制通過 VPC 端點訪問資源。以下代碼是一個示例資源政策。使用您之前創建的 KMS 密鑰的 Amazon 資源名稱 (ARN)。
現在您已成功創建所需的端點以進行私密通信。
為模型自訂創建服務角色
讓我們創建一個模型自訂的服務角色，並賦予以下權限：
讓 Amazon Bedrock 假設並執行模型自訂作業的信任關係
訪問您在 Amazon S3 中的訓練和驗證數據的權限，並將輸出數據寫入 Amazon S3
如果您使用 KMS 密鑰加密以下任何資源，則解密該密鑰的權限（請參見模型自訂作業和工件的加密）
模型自訂作業或結果自訂模型
模型自訂作業的訓練、驗證或輸出數據
訪問 VPC 的權限
讓我們首先創建所需的 IAM 政策：
在 IAM 控制台中，選擇導航窗格中的政策。
選擇創建政策。
在指定權限下，使用以下 JSON 提供對 S3 桶、VPC 和 KMS 密鑰的訪問。提供您的帳戶、桶名稱和 VPC 設置。
您可以使用以下 IAM 權限政策作為 VPC 權限的範本：
您可以使用以下 IAM 權限政策作為 Amazon S3 權限的範本：
現在讓我們創建 IAM 角色。
在 IAM 控制台中，選擇導航窗格中的角色。
選擇創建角色。
創建一個擁有以下信任政策的角色（提供您的 AWS 帳戶 ID）：
分配您的自訂 VPC 和 S3 桶訪問政策。
給您的角色命名並選擇創建角色。
更新 KMS 密鑰政策以包含 IAM 角色
在您之前創建的 KMS 密鑰中，您需要更新密鑰政策以包含 IAM 角色的 ARN。以下代碼是一個示例密鑰政策：
有關更多詳細信息，請參閱模型自訂作業和工件的加密。
啟動微調作業
請完成以下步驟以設置您的微調作業：
在 Amazon Bedrock 控制台中，選擇導航窗格中的自訂模型。
在模型部分，選擇自訂模型並創建微調作業。
在模型詳細信息下，選擇選擇模型。
選擇 Llama 3.1 8B Instruct 作為基礎模型並選擇應用。
對於微調模型名稱，輸入您的自訂模型名稱。
選擇模型加密以添加 KMS 密鑰並選擇您之前創建的 KMS 密鑰。
對於作業名稱，輸入訓練作業的名稱。
可選地，展開標籤部分以添加跟踪標籤。
在 VPC 設置下，選擇您在之前步驟中創建的 VPC、子網和安全組。
當您為作業指定 VPC 子網和安全組時，Amazon Bedrock 會創建與您在其中一個子網中的安全組相關聯的彈性網絡介面 (ENIs)。ENIs 允許 Amazon Bedrock 作業連接到您 VPC 中的資源。
我們建議您在每個可用區域提供至少一個子網。
在輸入數據下，指定訓練和驗證數據集的 S3 位置。
在超參數下，設置微調作業的 Epochs、Batch size、Learning rate 和 Learning rate warm up steps 的值。
有關更多詳細信息，請參閱自訂模型超參數。
在輸出數據下，對於 S3 位置，輸入存儲微調指標的桶的 S3 路徑。
在服務訪問下，選擇授權 Amazon Bedrock 的方法。您可以選擇使用現有的服務角色並使用您之前創建的角色。
選擇創建微調作業。
監控作業
在 Amazon Bedrock 控制台中，選擇導航窗格中的自訂模型並找到您的作業。
您可以在作業詳細信息頁面上監控作業。
購買預配置吞吐量
微調完成後（如下圖所示），您可以使用自訂模型進行推理。但是，在使用自訂模型之前，您需要為其購買預配置吞吐量。
請完成以下步驟：
在 Amazon Bedrock 控制台中，選擇導航窗格中的自訂模型。
在模型標籤中，選擇您的模型並選擇購買預配置吞吐量。
對於預配置吞吐量名稱，輸入一個名稱。
在選擇模型下，確保模型與您之前選擇的自訂模型相同。
在承諾期限和模型單位下，配置您的承諾期限和模型單位。請參閱 Amazon Bedrock 中的預配置吞吐量以獲取更多見解。在這篇文章中，我們選擇無承諾並使用 1 個模型單位。
在預估購買摘要下，查看預估成本並選擇購買預配置吞吐量。
在預配置吞吐量服務啟用後，您可以使用該模型進行推理。
使用模型
現在您準備好使用您的模型進行推理。
在 Amazon Bedrock 控制台中，選擇導航窗格中的遊樂場，然後選擇聊天/文本。
選擇選擇模型。
在類別中，選擇自訂模型下的自訂和自我託管模型。
對於模型，選擇您剛訓練的模型。
對於吞吐量，選擇您剛購買的預配置吞吐量。
選擇應用。
現在您可以提出示例問題，如下圖所示。
實施這些程序使您能夠在 Amazon Bedrock 中進行推理任務時遵循安全最佳實踐。
當開發需要訪問此微調模型的生成式人工智慧應用程式時，您可以選擇在 VPC 中配置它。通過使用 VPC 介面端點，您可以確保 VPC 和 Amazon Bedrock API 端點之間的通信通過 PrivateLink 連接，而不是通過公共互聯網。
這種方法進一步增強了安全性和隱私性。欲了解有關此設置的更多信息，請參閱使用介面 VPC 端點 (AWS PrivateLink) 在 VPC 和 Amazon Bedrock 之間創建私密連接。
清理
刪除為此演示創建的以下 AWS 資源，以避免未來產生費用：
Amazon Bedrock 模型預配置吞吐量
VPC 端點
VPC 和相關安全組
KMS 密鑰
IAM 角色和政策
S3 桶和對象
結論
在這篇文章中，我們在 Amazon Bedrock 中實施了安全的微調作業，這對於保護敏感數據和維護您的人工智慧模型的完整性至關重要。
通過遵循本文中概述的最佳實踐，包括正確的 IAM 角色配置、靜態和傳輸中的加密以及網絡隔離，您可以顯著增強微調過程的安全性。
通過在 Amazon Bedrock 工作流程中優先考慮安全性，您不僅保護了您的數據和模型，還建立了與利益相關者和最終用戶的信任，促進負責任和安全的人工智慧開發。
作為下一步，請在您的帳戶中試用該解決方案並分享您的反饋。
關於作者
Vishal Naik 是 Amazon Web Services (AWS) 的資深解決方案架構師。他是一位建設者，喜歡幫助客戶實現商業需求並解決複雜挑戰，專注於生成式人工智慧和機器學習。在空閒時間，Vishal 喜歡拍攝有關時間旅行和平行宇宙主題的短片。
Sumeet Tripathi 是 AWS 在北卡羅來納州的企業支持負責人 (TAM)。他在技術領域擁有超過 17 年的經驗，擔任過多種角色。他熱衷於幫助客戶減少運營挑戰和摩擦，專注於人工智慧/機器學習和能源與公用事業領域。工作之餘，他喜歡和家人一起旅行，觀看板球和電影。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
