簡化多模態生成AI與Amazon Bedrock數據自動化

開發者在使用基礎模型 (FMs) 從非結構化資產中提取數據時面臨著重大挑戰。這個數據提取過程需要仔細識別符合開發者特定準確性、成本和功能要求的模型。此外，開發者還必須花費大量時間通過微調和廣泛的提示工程來優化價格性能。管理多個模型、實施安全防護措施以及調整輸出以符合下游系統要求可能既困難又耗時。

亞馬遜基岩數據自動化 (Amazon Bedrock Data Automation) 在公開預覽中幫助解決這些和其他挑戰。這項來自亞馬遜基岩的新功能為各種技能水平的開發者提供了統一的體驗，讓他們能夠輕鬆自動化從文件、圖像、音頻和視頻中提取、轉換和生成相關見解，以構建生成式人工智慧應用程式。使用亞馬遜基岩數據自動化，客戶可以充分利用他們的數據，從非結構化的多模態內容中提取見解，並以與其應用程式兼容的格式呈現。亞馬遜基岩數據自動化的管理體驗、易用性和自定義能力幫助客戶更快地提供商業價值，消除了花費時間和精力協調多個模型、設計提示或拼接輸出的需要。

在這篇文章中，我們將展示如何在 AWS 管理控制台和 AWS SDK for Python (Boto3) 中使用亞馬遜基岩數據自動化進行媒體分析和智能文件處理 (IDP) 工作流程。

亞馬遜基岩數據自動化概述

您可以使用亞馬遜基岩數據自動化生成標準輸出和自定義輸出。標準輸出是特定模態的預設見解，例如捕捉關鍵時刻的視頻摘要、視覺和聽覺的有害內容、文件圖表的解釋、圖形數據等。自定義輸出使用客戶定義的藍圖，這些藍圖使用自然語言或架構編輯器指定輸出要求。藍圖包括要提取的字段列表、每個字段的數據格式以及其他指示，例如數據轉換和標準化。這使客戶對輸出擁有完全控制權，便於將亞馬遜基岩數據自動化集成到現有應用程式中。

使用亞馬遜基岩數據自動化，您可以構建強大的生成式人工智慧應用程式，並自動化媒體分析和 IDP 等用例。亞馬遜基岩數據自動化還與亞馬遜基岩知識庫 (Amazon Bedrock Knowledge Bases) 集成，使開發者更容易從其非結構化多模態內容中生成有意義的信息，以提供更相關的檢索增強生成 (RAG) 回應。

客戶可以開始使用所有四種模態的標準輸出：文件、圖像、視頻和音頻，以及文件和圖像的自定義輸出。視頻和音頻的自定義輸出將在功能正式推出時支持。

亞馬遜基岩數據自動化的圖像、音頻和視頻

以媒體分析為例，假設媒體和娛樂行業的客戶希望通過上下文廣告投放來獲利長格式內容，例如電視節目和電影。為了在正確的視頻時刻投放正確的廣告，您需要從廣告和視頻內容中提取有意義的見解。亞馬遜基岩數據自動化通過生成這些見解來支持您的上下文廣告投放應用程式。例如，您可以提取有價值的信息，如視頻摘要、場景級摘要、內容審核概念和基於互動廣告局 (IAB) 分類法的場景分類。

要開始使用亞馬遜基岩數據自動化提取見解，您可以創建一個項目，在那裡您可以使用 AWS 控制台、AWS 命令行介面 (AWS CLI) 或 API 指定輸出配置。

在亞馬遜基岩控制台創建項目，請按照以下步驟操作：

展開導航窗格中的數據自動化下拉菜單，然後選擇項目，如下圖所示。
從項目控制台創建新項目並提供項目名稱，如下圖所示。
在項目內，選擇編輯，如下圖所示，以指定或修改輸出配置。標準輸出是與亞馬遜基岩數據自動化互動的預設方式，可以用於音頻、文件、圖像和視頻，每個項目每種數據類型可以有一個標準輸出配置。
對於希望分析圖像和視頻以進行媒體分析的客戶，可以使用標準輸出生成見解，如圖像摘要、視頻場景摘要和使用 IAB 分類法的場景分類。您可以從標準輸出選項卡中選擇圖像摘要、視頻場景摘要和 IAB 分類法的復選框，然後選擇保存更改以完成項目的配置，如下圖所示。
要使用您的媒體資產測試標準輸出配置，請選擇測試，如下圖所示。

下一個例子使用該項目為旅行廣告生成見解。

上傳一個圖像，然後選擇生成結果，如下圖所示，讓亞馬遜基岩數據自動化發起推斷請求。
亞馬遜基岩數據自動化將根據項目的配置處理上傳的文件，自動檢測該文件為圖像，然後為旅行廣告生成摘要和 IAB 類別。
在為廣告圖像生成見解後，您可以生成視頻見解，以確定最佳視頻場景以進行有效的廣告投放。在同一項目中，上傳一個視頻文件並選擇生成結果，如下圖所示。

亞馬遜基岩數據自動化將檢測該文件為視頻，並根據項目中指定的標準輸出配置生成視頻見解，如下圖所示。

這些來自亞馬遜基岩數據自動化的見解，可以幫助您在視頻內容中有效地放置相關廣告，從而提高內容的獲利能力。

使用亞馬遜基岩數據自動化進行智能文件處理

您可以使用亞馬遜基岩數據自動化自動化 IDP 工作流程，而無需協調複雜的文件處理任務，如分類、提取、標準化或驗證。

以抵押貸款為例，貸款機構希望自動化抵押貸款包的處理，以簡化其 IDP 流程並提高貸款處理的準確性。亞馬遜基岩數據自動化簡化了複雜 IDP 任務的自動化，例如文件拆分、分類、數據提取、輸出格式標準化和數據驗證。亞馬遜基岩數據自動化還結合了信心分數和輸出數據的視覺基準，以減少錯誤並幫助提高結果的可靠性。

例如，您可以通過定義藍圖來生成自定義輸出，這些藍圖使用自然語言或架構編輯器指定輸出要求，以在單個流暢的 API 中處理多種文件類型。藍圖可以使用控制台或 API 創建，您可以使用目錄藍圖或為文件和圖像創建自定義藍圖。

對於所有模態，這個工作流程由三個主要步驟組成：創建項目、發起分析和檢索結果。

以下解決方案將指導您通過亞馬遜基岩數據自動化簡化抵押貸款處理過程，使用亞馬遜 SDK for Python (Boto3)，這很容易集成到現有的 IDP 工作流程中。

前提條件

在您調用亞馬遜基岩 API 之前，請確保您擁有以下內容：

創建自定義藍圖

在這個例子中，您有貸款包，如下圖所示，其中包含三份文件：工資單、W-2 表格和駕駛執照。

亞馬遜基岩數據自動化為這三份文件提供了樣本藍圖，定義了常見的提取字段。不過，您也可以自定義亞馬遜基岩數據自動化，以從每份文件中提取特定字段。例如，您可以通過創建自定義藍圖來僅提取工資單中的總工資和淨工資。

要使用 API 創建自定義藍圖，您可以使用亞馬遜基岩數據自動化客戶端的 CreateBlueprint 操作。以下示例顯示了總工資和淨工資作為屬性傳遞給 CreateBlueprint，以從貸款包中提取：

CreateBlueprint 的回應返回工資單自定義藍圖的 blueprintARN：

配置亞馬遜基岩數據自動化項目

要開始使用藍圖處理文件，您首先需要創建一個數據自動化項目。要處理包含不同文件類型的多頁文件，您可以為每種文件類型配置不同的藍圖。

使用亞馬遜基岩數據自動化在一個項目中應用多個文件藍圖，以便您可以在同一項目中處理不同類型的文件，每個文件都有自己的自定義提取邏輯。

當使用 API 創建項目時，您調用 CreateDataAutomationProject 操作。以下是如何使用工資單的自定義藍圖和 W-2 表格及駕駛執照的樣本藍圖配置自定義輸出的示例：

CreateProject 的回應返回項目的 projectARN：

要使用多個文件藍圖在單個項目中處理不同類型的文件，亞馬遜基岩數據自動化使用拆分器配置，必須通過 API 啟用。以下是拆分器的覆蓋配置，您可以參考 Boto3 文檔以獲取更多信息：

創建後，API 驗證輸入配置並創建新項目，返回 projectARN，如下圖所示。

測試解決方案

現在藍圖和項目設置已完成，您可以使用亞馬遜基岩數據自動化運行時的 InvokeDataAutomationAsync 操作開始處理文件。這個 API 調用啟動了對 S3 存儲桶中文件的異步處理，在這種情況下是貸款包，使用項目中定義的配置，通過傳遞項目的 ARN：

InvokeDataAutomationAsync 返回 invocationARN：

GetDataAutomationStatus 可以用來查看調用的狀態，使用上一步的 InvocationARN：

當工作完成後，您可以通過導航到 ~/JOB_ID/0/custom_output/ 文件夾來查看在 outputConfiguration 中使用的 S3 存儲桶中的結果。

從以下示例輸出中，亞馬遜基岩數據自動化將工資單文件與自定義工資單藍圖關聯，並具有高信心水平：

使用匹配的藍圖，亞馬遜基岩數據自動化能夠準確提取藍圖中定義的每個字段：

此外，亞馬遜基岩數據自動化還返回每個字段的信心區間和邊界框信息：

這個例子展示了客戶如何使用亞馬遜基岩數據自動化來簡化和自動化 IDP 工作流程。亞馬遜基岩數據自動化自動化了複雜的文件處理任務，如數據提取、標準化和驗證。亞馬遜基岩數據自動化有助於減少操作複雜性，提高處理效率，以處理更高的貸款處理量，最小化錯誤並推動操作卓越。

清理

當您完成評估此功能時，請刪除 S3 存儲桶和任何對象，以避免進一步收費。

總結

客戶可以開始使用亞馬遜基岩數據自動化，該功能在 AWS 西部地區 2 (俄勒岡州) 的公開預覽中可用。了解更多有關亞馬遜基岩數據自動化的信息，以及如何自動生成準確的信息以從非結構化內容中構建基於生成式人工智慧的應用程式。

關於作者

Ian Lodge 是 AWS 的解決方案架構師，幫助 ISV 客戶解決其架構、運營和成本優化挑戰。在工作之外，他喜歡和家人共度時光、打冰球和木工。

Alex Pieri 是 AWS 的解決方案架構師，與零售客戶合作，計劃、構建和優化其 AWS 雲環境。他專注於幫助客戶在 AWS 上構建企業級的生成式人工智慧解決方案。

Raj Pathak 是主要解決方案架構師，並擔任加拿大和美國的 Fortune 50 和中型金融服務 (銀行、保險、資本市場) 客戶的技術顧問。Raj 專注於機器學習，應用於生成式人工智慧、自然語言處理、智能文件處理和 MLOps。