這篇文章由Gordon Campbell、Charles Guan和Hendra Suryanto與Rich Data Co (RDC)共同撰寫。
Rich Data Co (RDC)的使命是擴大全球可持續信用的獲取。它的軟體即服務 (SaaS) 解決方案使領先的銀行和貸款機構能夠獲得深入的客戶洞察和基於人工智慧 (AI) 的決策能力。
使用AI來做出信用決策可能會很具挑戰性，這需要數據科學和投資組合團隊協同合作，整合複雜的主題資訊。為了解決這個挑戰，RDC使用了生成式AI，使團隊能更有效地使用其解決方案：
數據科學助手 – 這個助手是為數據科學團隊設計的，幫助團隊在受監管的環境中開發、構建和部署AI模型。它的目標是通過回答機器學習操作 (MLOps) 生命週期中的複雜技術問題來提高團隊效率，並從包括環境文檔、AI和數據科學專業知識以及Python代碼生成的全面知識庫中獲取信息。
投資組合助手 – 這個助手是為投資組合經理和分析師設計的，幫助他們用自然語言查詢貸款投資組合。它提供關於績效、風險暴露和信用政策對齊的重要洞察，使商業決策更明智，而不需要深入的分析技能。這個助手擅長高層次問題（例如識別高風險區段或潛在增長機會）和一次性查詢，讓投資組合能夠多樣化。
在這篇文章中，我們討論了RDC如何在Amazon Bedrock上使用生成式AI來建立這些助手，並加速其擴大可持續信用獲取的整體使命。
解決方案概述：建立多代理生成式AI解決方案
我們首先設計了一個精心製作的評估集，包含超過200個提示，預測常見的用戶問題。我們的初步方法結合了提示工程和傳統的檢索增強生成 (RAG)。然而，我們遇到了一個挑戰：準確率低於90%，尤其是對於更複雜的問題。
為了克服這個挑戰，我們採用了代理方法，將問題分解為專門的用例。這一策略使我們能夠將每個任務與最合適的基礎模型 (FM) 和工具對齊。我們的多代理框架使用LangGraph進行協調，並包含：
協調者 – 協調者負責將用戶問題路由到適當的代理。在這個例子中，我們從數據科學或投資組合代理開始。然而，我們預見未來會有更多的代理。協調者還可以利用用戶的上下文，例如用戶的角色，來決定路由到適當的代理。
代理 – 代理是為特定任務設計的。它配備了適合該任務的FM和執行操作及訪問知識所需的工具。它還能處理多輪對話，並協調多次調用FM以達到解決方案。
工具 – 工具擴展了代理的能力，超越了FM。它們提供對外部數據和API的訪問，或啟用特定操作和計算。為了有效利用模型的上下文窗口，我們構建了一個工具選擇器，根據代理狀態中的信息檢索僅相關的工具。這有助於簡化錯誤調試，最終使代理更有效且成本更低。
這種方法為每個工作提供了合適的工具。它提高了我們高效且準確地處理複雜查詢的能力，同時為未來的改進和代理提供了靈活性。
以下圖片是解決方案的高層次架構圖。
數據科學代理：RAG和代碼生成
為了提高數據科學團隊的生產力，我們專注於快速理解先進知識，包括來自精心策劃的知識庫的行業特定模型。在這裡，RDC提供了一個集成開發環境 (IDE) 用於Python編碼，滿足各種團隊角色的需求。其中一個角色是模型驗證者，他們嚴格評估模型是否符合銀行或貸款機構的政策。為了支持評估過程，我們設計了一個配備兩個工具的代理：
內容檢索工具 – Amazon Bedrock知識庫通過簡化的RAG實現我們的智能內容檢索。該服務自動將文本文件轉換為其向量表示，使用Amazon Titan文本嵌入，並將其存儲在Amazon OpenSearch無伺服器中。由於知識龐大，它執行語義分塊，確保知識按主題組織，並能夠適應FM的上下文窗口。當用戶與代理互動時，Amazon Bedrock知識庫使用OpenSearch無伺服器提供快速的內存語義搜索，使代理能夠檢索最相關的知識片段，以便為用戶提供相關且具上下文的回應。
代碼生成工具 – 在代碼生成方面，我們選擇了Amazon Bedrock上的Anthropic的Claude模型，因為它具備理解和生成代碼的能力。這個工具能夠回答與數據科學相關的查詢，並能生成Python代碼以便快速實施。它也擅長排除代碼錯誤。
投資組合代理：文本轉SQL和自我修正
為了提高信用投資組合團隊的生產力，我們專注於兩個關鍵領域。對於投資組合經理，我們優先考慮高層次的商業洞察。對於分析師，我們則使其能夠深入數據探索。這一方法使兩個角色都能快速理解並獲得可行的洞察，簡化了團隊之間的決策過程。
我們的解決方案需要自然語言理解存儲在Amazon Aurora中的結構化投資組合數據。這使我們的解決方案基於文本轉SQL模型，以有效地橋接自然語言和SQL之間的差距。
為了減少錯誤並處理超出模型能力的複雜查詢，我們使用Anthropic的Claude模型在Amazon Bedrock上開發了三個自我修正的工具：
檢查查詢工具 – 驗證和修正SQL查詢，解決常見問題，如數據類型不匹配或錯誤的函數使用
檢查結果工具 – 驗證查詢結果，提供相關性，並在需要時提示重試或用戶澄清
從用戶重試工具 – 當查詢過於廣泛或缺乏細節時，與用戶互動以獲取更多信息，根據數據庫信息和用戶輸入指導互動
這些工具在代理系統中運作，通過迭代改進和用戶參與來實現準確的數據庫互動和改進的查詢結果。
為了提高準確性，我們測試了模型微調，對模型進行了常見查詢和上下文（例如數據庫架構及其定義）的訓練。這一方法減少了推理成本並提高了響應時間，與每次調用時的提示相比。使用Amazon SageMaker JumpStart，我們通過提供一組預期的提示、預期的答案和相關上下文來微調Meta的Llama模型。Amazon SageMaker Jumpstart提供了一種經濟實惠的替代方案，為未來的應用提供了可行的途徑。然而，我們最終沒有部署微調模型，因為我們實驗性地觀察到使用Anthropic的Claude模型進行提示提供了更好的泛化，特別是對於複雜問題。為了減少運營開銷，我們還將評估在Amazon Bedrock知識庫上的結構化數據檢索。
結論和RDC的下一步
為了加快開發，RDC與AWS初創企業和AWS生成式AI創新中心合作。通過迭代的方法，RDC迅速增強了其生成式AI能力，並在短短3個月內將初始版本投入生產。該解決方案成功滿足了受監管銀行環境所需的嚴格安全標準，實現了創新和合規。
“將生成式AI整合到我們的解決方案中，標誌著我們在徹底改變信用決策過程中的重要時刻。通過賦能數據科學家和投資組合經理使用AI助手，我們不僅提高了效率——我們正在改變金融機構的貸款方式。”
–Gordon Campbell，RDC的聯合創始人兼首席客戶官
RDC預見生成式AI在提升銀行和信用行業生產力方面將發揮重要作用。通過使用這項技術，RDC能夠為客戶提供關鍵洞察，改善解決方案的採用，加速模型生命周期，並減少客戶支持的負擔。展望未來，RDC計劃進一步完善和擴展其AI能力，探索新的用例和整合，隨著行業的發展而進步。
如需了解如何與RDC和AWS合作，以及我們如何支持全球銀行客戶使用AI進行信用決策，請聯繫您的AWS客戶經理或訪問Rich Data Co。
有關AWS上生成式AI的更多信息，請參考以下資源：
關於作者
Daniel Wirjo是AWS的解決方案架構師，專注於金融科技和SaaS初創企業。作為一名前初創企業CTO，他喜歡與創始人和工程領導者合作，以推動AWS上的增長和創新。在工作之外，Daniel喜歡手拿咖啡散步，欣賞大自然，並學習新想法。
Xuefeng Liu在AWS生成式AI創新中心領導一個科學團隊。他的團隊與AWS客戶合作進行生成式AI項目，目標是加速客戶對生成式AI的採用。
Iman Abbasnejad是亞馬遜網路服務 (AWS) 生成式AI創新中心的計算機科學家，專注於生成式AI和複雜的多代理系統。
Gordon Campbell是RDC的首席客戶官和聯合創始人，他利用超過30年的企業軟體經驗推動RDC的領先AI決策平台，為商業和商業貸款機構提供服務。在三家全球軟體公司中擁有成功的產品策略和開發經歷，Gordon致力於客戶成功、倡導和通過數據和AI促進金融包容性。
Charles Guan是RDC的首席技術官和聯合創始人。擁有超過20年的數據分析和企業應用經驗，他在公共和私營部門推動技術創新。在RDC，Charles負責研究、開發和產品推進，與大學合作利用先進的分析和AI。他致力於促進金融包容性，並在全球範圍內實現積極的社區影響。
Hendra Suryanto是RDC的首席數據科學家，擁有超過20年的數據科學、大數據和商業智能經驗。在加入RDC之前，他曾在KPMG擔任首席數據科學家，為全球客戶提供建議。在RDC，Hendra設計端到端的分析解決方案，並在敏捷DevOps框架內工作。他擁有人工智慧的博士學位，並完成了機器學習的博士後研究。
本文由 AI 台灣 運用 AI 技術編撰，內容僅供參考，請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團，
隨時掌握最新 AI 動態與實用資訊！
