透過 CreditAI 在 Amazon Bedrock 轉型金融分析：Octus 與 AWS 的旅程

投資專業人士面臨著處理大量數據以便及時做出明智決策的挑戰。傳統上，他們需要手動篩選無數的研究文件、行業報告和財務報表，這不僅耗時，還可能導致錯失機會和分析不完整。這個挑戰在信用市場中尤為明顯，因為信息的複雜性和快速、準確洞察的需求直接影響投資結果。金融機構需要一個解決方案，能夠不僅聚合和處理大量數據，還能以對話式、易於使用的格式提供可行的情報。人工智慧（AI）與金融分析的交集提供了一個引人注目的機會，改變投資專業人士獲取和使用信用情報的方式，從而導致更高效的決策過程和更好的風險管理結果。

Octus成立於2013年，前身為Reorg，是全球領先的買方公司、投資銀行、法律事務所和顧問公司的重要信用情報和數據提供商。通過將無與倫比的人類專業知識與經過驗證的技術、數據和AI工具相結合，Octus揭示出強大的真相，推動金融市場的果斷行動。訪問octus.com了解我們如何快速提供經過嚴格驗證的情報，並為專業人士創建完整的信用生命周期圖像。關注Octus的LinkedIn和X。

使用先進的生成AI，Octus™的CreditAI是一個旗艦對話式聊天機器人，支持自然語言查詢和實時數據訪問，並附有來源標註，顯著減少分析時間並簡化研究工作流程。它能夠即時訪問超過10,000家公司來自數十萬篇專有情報文章的見解，幫助金融機構做出明智的信用決策，同時有效管理風險。主要功能包括聊天記錄管理、針對特定公司或更廣泛行業提出問題的能力，以及獲得後續問題建議。

在這篇文章中，我們展示了Octus如何將其旗艦產品CreditAI遷移到Amazon Bedrock，改變投資專業人士獲取和分析信用情報的方式。我們將介紹Octus從管理多個雲服務提供商和昂貴的GPU實例，到使用AWS服務（包括Amazon Bedrock、AWS Fargate和Amazon OpenSearch Service）實施簡化、成本效益高的解決方案的過程。我們分享了架構決策、實施策略、安全最佳實踐和關鍵學習的詳細見解，使Octus在顯著提高應用性能和可擴展性的同時保持零停機時間。

創新機會

Octus™的CreditAI 1.x使用檢索增強生成（RAG）。它是使用內部和外部雲服務的組合構建的，基於Microsoft Azure的大型語言模型（LLMs）、Pinecone的向量化數據庫，以及Amazon Elastic Compute Cloud（Amazon EC2）用於嵌入。根據我們的運營經驗，隨著我們開始擴展，我們意識到存在幾個運營效率低下和改進的機會：

我們的內部嵌入服務（部署在EC2實例上）並不如所需的那樣可擴展和可靠。它們還需要比我們團隊能夠分配的更多的運營維護時間。
整體解決方案的運營成本很高，特別是由於使用按需的GPU實例。我們的應用實時性意味著Spot實例不是一個選擇。此外，我們對低成本基於CPU的實例的調查顯示，它們無法滿足我們的延遲要求。
使用多個外部雲服務提供商使得DevOps、支持和預算變得複雜。

這些運營效率低下意味著我們必須重新考慮我們的解決方案架構。顯然，我們需要一個具有成本效益的解決方案來滿足我們的生成AI需求。於是，Amazon Bedrock知識庫進入了我們的視野。它支持簡化RAG操作的知識庫，作為其與OpenSearch Service集成的一部分，提供向量化搜索，支持多租戶嵌入，以及Anthropic的Claude系列大型語言模型，這使得Octus決定遷移其解決方案架構。在此過程中，它還簡化了運營，因為Octus更普遍地使用AWS。然而，我們仍然對如何進行這次遷移以及在過渡過程中是否會有任何停機時間感到好奇。

戰略需求

為了幫助我們系統性地推進，Octus確定了以下關鍵需求來指導遷移到Amazon Bedrock：

可擴展性 – 一個關鍵需求是需要將操作從處理數十萬份文件擴展到數百萬份文件。之前系統的一個重大挑戰是將新文件嵌入向量數據庫的過程緩慢（且相對不可靠），這造成了擴展操作的瓶頸。
成本效益和基礎設施優化 – 雖然CreditAI 1.x性能良好，但由於使用基於GPU的單租戶服務進行嵌入和重新排序，導致基礎設施成本高昂。我們需要多租戶的替代方案，這樣的方案更便宜，同時能夠實現彈性和擴展。
響應性能和延遲 – 基於生成AI的應用的成功取決於響應的質量和速度。考慮到我們的用戶基礎，確保響應準確同時重視用戶的時間（低延遲）是非常重要的。當數據的大小和複雜性增長時，這是一個挑戰。我們希望平衡空間和時間檢索，以便提供最佳答案和上下文相關性的響應，特別是當我們每天獲得大量更新的數據時。
零停機時間 – CreditAI正在生產中，我們在這次遷移中無法承受任何停機時間。
技術靈活性和創新 – 在快速發展的AI領域，Octus認識到保持技術競爭力的重要性。我們希望擺脫內部開發和功能維護，例如嵌入服務、重新排序、護欄和RAG評估器。這將使Octus能夠專注於產品創新和更快的功能部署。
運營整合和可靠性 – Octus的目標是整合雲服務提供商，減少支持開銷和運營複雜性。

遷移到Amazon Bedrock並滿足我們的需求

遷移到Amazon Bedrock滿足了我們上述需求：

可擴展性 – Amazon Bedrock的架構，結合AWS Fargate、Amazon Textract和AWS Lambda，提供了擴展所需的彈性和可擴展基礎設施，同時保持性能、數據完整性、合規性和安全標準。該解決方案高效的文件處理和嵌入能力解決了之前系統的限制，使知識庫更新更快、更高效。
成本效益和基礎設施優化 – 通過遷移到Amazon Bedrock多租戶嵌入，Octus實現了顯著的成本降低，同時通過Anthropic的Claude Sonnet和改進的嵌入能力保持性能標準。這一舉措減少了對基於GPU的服務的需求，轉而使用更具成本效益和無伺服器的Amazon ECS和Fargate解決方案。
響應性能和延遲 – Octus驗證了Anthropic的Claude Sonnet的響應質量和延遲，以確認響應的準確性和延遲在這次遷移中得到了保持（甚至超過）。有了這個大型語言模型，CreditAI現在能夠比以前更好地回應更廣泛的行業查詢。
零停機時間 – 我們能夠使用內部集中基礎設施框架實現對Amazon Bedrock的零停機時間遷移。我們的框架包括基礎設施即代碼（IaC）通過Terraform、持續集成和交付（CI/CD）、SOC2安全性、監控、可觀察性和對我們的基礎設施和應用的警報。
技術靈活性和創新 – Amazon Bedrock成為理想的合作夥伴，提供專門為AI應用開發設計的解決方案。Amazon Bedrock的內置功能，如嵌入服務、重新排序、護欄和即將推出的RAG評估器，減少了對這些組件的內部開發需求，使Octus能夠專注於產品創新和更快的功能部署。
運營整合和可靠性 – AWS服務的全面套件提供了一個簡化的框架，簡化了運營，同時提供高可用性和可靠性。這一整合最小化了管理多個雲服務提供商的複雜性，並創造了一個更具凝聚力的技術生態系統。它還使得開發速度的經濟規模成為可能，因為Octus的75名工程師已經在應用開發中使用AWS服務。

此外，Amazon Bedrock知識庫團隊與我們密切合作，解決了幾個關鍵要素，包括擴展嵌入限制、管理元數據限制（250個字符）、測試不同的分塊方法，以及將吞吐量同步到知識庫。

在接下來的部分中，我們將探討我們的解決方案以及如何處理遷移到Amazon Bedrock和Fargate的細節。

解決方案概述

以下圖示展示了我們在AWS上CreditAI的系統架構，包含兩個關鍵路徑：文件攝取和內容提取工作流程，以及用戶查詢響應的問答工作流程。

在接下來的部分中，我們深入探討我們解決方案中關鍵組件的細節。在每種情況下，我們將它們與之前討論的需求聯繫起來，以便於閱讀。

文件攝取工作流程（在前面的圖中用藍色編號）通過五個不同的階段處理內容：

文件上傳到Amazon Simple Storage Service（Amazon S3）會自動通過S3事件通知調用Lambda函數。這種事件驅動的架構提供了對新文件的即時處理。
Lambda函數處理包含文件位置的事件有效負載，執行格式驗證，並準備內容以進行提取。這包括文件類型驗證、大小驗證和元數據提取，然後路由到Amazon Textract。
Amazon Textract處理文件以提取文本和結構信息。該服務處理各種格式，包括PDF、圖像和表單，同時保留文件佈局和內容元素之間的關係。
提取的內容存儲在專用的S3前綴中，與源文件分開，保持清晰的數據來源。每個處理過的文件都保持對其源文件、提取時間戳和處理元數據的引用。
提取的內容流入Amazon Bedrock知識庫，在那裡我們實施語義分塊策略將內容劃分為最佳段落。系統然後為每個塊生成嵌入，並將這些向量存儲在OpenSearch Service中以便高效檢索。在整個過程中，系統保持全面的元數據，以支持下游過濾和來源標註要求。

問答工作流程（在前面的圖中用黃色編號）通過六個集成階段處理用戶互動：

托管在AWS Fargate上的Web應用程序處理用戶互動和查詢輸入，管理初始請求驗證，然後將查詢路由到適當的處理服務。
Amazon Managed Streaming for Kafka（Amazon MSK）作為流媒體服務，提供可靠的服務間通信，同時保持消息排序和高吞吐量處理以處理查詢。
問答處理器在AWS Fargate上運行，協調完整的查詢響應週期，通過服務之間的協調和通過LLM管道處理響應。
該管道通過以下組件與Amazon Bedrock基礎模型集成：

Cohere嵌入模型對輸入進行向量變換。
Amazon OpenSearch Service管理向量嵌入並執行相似性搜索。
Amazon Bedrock知識庫提供對文檔庫的高效訪問。

Amazon Bedrock護欄在查詢處理管道中實施內容過濾和安全檢查。
Anthropic Claude大型語言模型執行自然語言處理，生成的響應然後返回給Web應用程序。

這一集成工作流程提供了高效的查詢處理，同時保持響應質量和系統可靠性。

為了可擴展性：使用OpenSearch Service作為我們的向量數據庫

Amazon OpenSearch Serverless成為CreditAI不斷發展需求的最佳解決方案，提供先進的功能，同時在AWS生態系統內保持無縫集成：

向量搜索能力 – OpenSearch Serverless提供了強大的內置向量搜索能力，這對我們的需求至關重要。該服務支持混合搜索，允許我們將向量嵌入與原始文本搜索結合，而無需修改我們的嵌入模型。這一能力對於在CreditAI 2.x中支持更廣泛問題至關重要，增強了其整體可用性和靈活性。
無伺服器架構的優勢 – 無伺服器設計減輕了配置、調整基礎設施的需求，顯著減少了運營複雜性。這一轉變使我們的團隊能夠將更多時間和資源專注於功能開發和應用改進，而不是管理基礎設施。
AWS集成優勢 – 與其他AWS服務（特別是Amazon S3和Amazon Bedrock）的緊密集成簡化了我們的內容攝取過程。這一內置兼容性提供了一個連貫且可擴展的未來增強的環境，同時保持最佳性能。

OpenSearch Serverless使我們能夠高效擴展向量搜索能力，同時最小化運營開銷並保持高性能標準。

為了可擴展性和安全性：將數據分散到多個向量數據庫，並提供內部支持以處理複雜的權限

為了增強可擴展性和安全性，我們為每個客戶數據實施了隔離的知識庫（對應於向量數據庫）。雖然這種方法稍微增加了成本，但卻帶來了多個顯著的好處。首先，它保持了客戶數據的完全隔離，提供了增強的隱私和安全性。得益於Amazon Bedrock知識庫，這一解決方案並未妨礙性能。Amazon Bedrock知識庫支持多個知識庫之間的並行嵌入和同步，使我們能夠保持實時更新而不會延遲，這在之前基於GPU的架構中是無法實現的。

此外，我們在Octus內部引入了兩個服務以加強這一系統：

AuthZ訪問管理服務 – 該服務強制執行細粒度的訪問控制，確保用戶和應用僅能與他們被授權訪問的數據互動。我們必須將AuthZ後端從Airbyte遷移到本地SQL複製，以便支持近乎實時的訪問管理。
全局標識符服務 – 該服務提供了一個統一的框架來鏈接多個域中的標識符，實現跨多個數據集的無縫集成和交叉引用。

這些增強措施共同創造了一個強大、安全且高效的環境，用於管理和訪問客戶數據。

為了成本效益：採用多租戶嵌入服務

在我們遷移到Amazon Bedrock知識庫的過程中，Octus從使用EC2實例上的開源嵌入服務轉向使用Amazon Bedrock的管理嵌入能力，這一轉變是基於幾個關鍵因素進行的仔細評估。

我們選擇Cohere的多語言模型主要基於兩個優勢。首先，它在我們的比較測試中顯示出卓越的檢索性能。其次，它提供了強大的多語言支持能力，這對我們的全球業務至關重要。

這次遷移的技術好處體現在兩個不同的領域：文檔嵌入和消息嵌入。在文檔嵌入方面，我們從基於CPU的系統轉向Amazon Bedrock知識庫，這使得通過其多租戶架構實現更快和更高吞吐量的文檔處理。在消息嵌入方面，我們減輕了對專用GPU實例的依賴，同時保持20-30毫秒的最佳性能。Amazon Bedrock知識庫API還通過將嵌入和檢索功能合併到單個API調用中簡化了我們的操作。

遷移到Amazon Bedrock知識庫的管理嵌入帶來了兩個顯著的優勢：它消除了維護我們自己的開源解決方案的運營開銷，同時通過Cohere的模型提供行業領先的嵌入能力。這幫助我們在不妥協的情況下實現了成本效益和性能目標。

為了成本效益和響應性能：選擇分塊策略

我們的主要目標是改善CreditAI響應的三個關鍵方面：質量（信息的準確性）、基礎（能夠追溯響應的來源文件）和相關性（提供直接回答用戶查詢的信息）。為了實現這一目標，我們測試了三種不同的方法來將文檔分解為更小的部分（塊）：

固定分塊 – 將文本分成固定長度的片段
語義分塊 – 根據自然語義邊界（如段落、部分或完整思想）分解文本
層次分塊 – 創建一個兩層結構，具有較小的子塊以進行精確匹配，較大的父塊以進行上下文理解

我們的測試顯示，語義和層次分塊在檢索相關信息方面的表現顯著優於固定分塊。然而，每種方法都有其技術考量。

層次分塊需要較大的塊大小以保持檢索過程中的全面上下文。這種方法創建了一個兩層結構：較小的子塊用於精確匹配，較大的父塊用於上下文理解。在檢索過程中，系統首先識別相關的子塊，然後自動包括其父塊以提供更廣泛的上下文。雖然這種方法優化了搜索精度和上下文保留，但我們無法使用我們首選的Cohere嵌入來實施，因為它們僅支持最多512個標記的塊，這對於保持有效的層次關係所需的父塊來說是不夠的。

語義分塊使用大型語言模型（LLMs）通過分析語義相似性和自然語言結構來智能地劃分文本。系統通過計算句子和段落之間的嵌入相似性分數來識別邏輯斷點，確保語義相關的內容保持在一起。生成的塊通過考慮語言特徵（如句子和段落邊界）和語義一致性來保持上下文完整性，儘管這種精確性需要額外的計算資源來進行LLM分析和嵌入計算。

在評估選擇後，我們選擇了語義分塊，儘管有兩個權衡：

它需要我們的LLMs進行額外處理，這增加了成本
每個文檔處理批次的標記數量限制為1,000,000

我們做出這一選擇是因為語義分塊在實施簡單性和檢索性能之間提供了最佳平衡。儘管層次分塊顯示出潛力，但實施起來會更複雜，且更難擴展。這一決定幫助我們保持高質量、基礎和相關的響應，同時保持系統的可管理性和效率。

為了響應性能和技術靈活性：採用Amazon Bedrock護欄與Amazon Bedrock知識庫

我們實施Amazon Bedrock護欄的重點是三個關鍵目標：增強響應安全性、優化性能和簡化護欄管理。該服務在確保我們的響應既安全又高效方面發揮了至關重要的作用。

Amazon Bedrock護欄提供了一個全面的內容過濾和響應管理框架。該系統通過在LLM處理之前評估內容以符合預定規則，幫助防止不當內容並保持響應質量。通過將Amazon Bedrock護欄與Amazon Bedrock知識庫集成，我們可以在不編寫複雜代碼的情況下配置、測試和迭代我們的護欄。

我們在三個方面實現了顯著的技術改進：

簡化的管理框架 – 我們將多個單獨拒絕主題的內容過濾整合為一個統一的護欄服務。這一方法使我們能夠保持內容管理規則的單一真相來源，並支持可自定義的示例短語，以幫助微調過濾準確性。
性能優化 – 我們通過將護欄檢查直接集成到我們的主要提示中來提高系統性能，而不是將其作為單獨的操作運行。這一優化減少了我們的標記使用，並最小化了不必要的API調用，從而降低了每次查詢的延遲。
增強的內容控制 – 該服務提供可配置的閾值，用於過濾潛在有害內容，並包括內置的檢測幻覺和評估響應相關性的能力。這減輕了我們對外部服務（如TruLens）的依賴，同時保持強大的內容質量控制。

這些改進幫助我們保持高響應質量，同時減少運營複雜性和處理開銷。與Amazon Bedrock的集成為我們提供了一種更簡化和高效的內容管理方法。

為了實現零停機時間：基礎設施遷移

我們遷移到Amazon Bedrock需要仔細規劃，以便在顯著降低基礎設施成本的同時提供不間斷的CreditAI服務。我們通過全面的基礎設施框架來實現這一目標，該框架解決了部署、安全和監控需求：

IaC實施 – 我們使用可重用的Terraform模塊在各環境中一致地管理我們的基礎設施。這些模塊使我們能夠在服務和項目之間有效共享配置。我們的方法支持多區域部署，並在保持基礎設施版本控制的同時，對應用代碼進行最小配置更改。
自動化部署策略 – 我們的GitOps嵌入框架通過實施不同環境的明確分支策略來簡化部署過程。這一自動化通過自動驗證和測試減少了人為錯誤，還使得在需要時能夠快速回滾。
安全性和合規性 – 為了保持SOC2合規性和強大的安全性，我們的框架納入了全面的訪問管理控制和靜態及傳輸中的數據加密。我們遵循網絡安全最佳實踐，定期進行安全審計和監控，並在部署管道中運行自動合規檢查。

在整個遷移過程中，我們保持了零停機時間，同時通過消除GPU實例將基礎設施成本降低了70%。從Amazon ECS在Amazon EC2上的成功過渡到Amazon ECS與Fargate的過渡簡化了我們的基礎設施管理和監控。

實現卓越

CreditAI遷移到Amazon Bedrock為Octus帶來了顯著的成果：

可擴展性 – 我們在幾天內幾乎將可用於問答的文檔數量翻了一番，而不是幾週。我們使用Amazon ECS與Fargate的自動擴展規則和控制，在高峰使用時段為我們的服務提供彈性可擴展性。
成本效益和基礎設施優化 – 通過從基於GPU的集群轉向Fargate，我們的每月基礎設施成本現在降低了78.47%，每個問題的成本降低了87.6%。
響應性能和延遲 – 延遲沒有下降，成功回答問題的比例提高了27%。我們還看到用戶參與度提高了250%。用戶特別喜歡我們支持的廣泛行業問題，這得益於Anthropic的Claude Sonnet。
零停機時間 – 在遷移過程中，我們經歷了零停機時間，整個應用的正常運行時間達到99%。
技術靈活性和創新 – 我們能夠在遷移前的四分之一時間內添加新的文檔來源。此外，我們免費採用了增強的護欄支持，無需再從知識庫檢索文檔並將塊傳遞給Anthropic的Claude Sonnet以觸發護欄。
運營整合和可靠性 – 遷移後，我們的DevOps和SRE團隊的維護負擔和開銷減少了20%。支持SOC2合規性也變得簡單，因為我們現在只使用一個雲服務提供商。

運營監控

我們使用Datadog監控LLM延遲和我們的文檔攝取管道，提供系統性能的實時可見性。以下截圖展示了我們如何使用自定義Datadog儀表板提供文檔攝取管道的實時視圖。這一可視化提供了高層次的概覽和對攝取過程的詳細見解，幫助我們了解處理的文檔的數量、格式和狀態。儀表板的下半部分呈現了文檔處理量的時間序列視圖。時間線跟踪處理率的波動，識別高峰活動時期，並提供可行的見解以優化吞吐量。這一詳細的監控系統使我們能夠保持效率，最小化故障，並提供可擴展性。

未來計劃

展望未來，Octus計劃繼續增強CreditAI，利用Amazon Bedrock推出的新功能，這些功能將繼續滿足並超越我們的需求。未來的發展將包括：

通過測試和集成重新排序技術來增強檢索，讓系統能夠優先考慮最相關的搜索結果，以改善用戶體驗和準確性。
探索Amazon Bedrock RAG評估器，以捕捉CreditAI性能的詳細指標。這將增加Octus現有的性能跟踪機制，包括跟踪未回答的問題。
擴展以攝取大規模結構化數據，使其能夠處理複雜的金融數據集。文本到SQL的集成將使用戶能夠使用自然語言查詢結構化數據庫，簡化數據訪問。
探索用Amazon Bedrock的先進解析解決方案取代我們的內部內容提取服務（ADE），以進一步降低文檔攝取成本。
改善CreditAI的災難恢復和冗餘機制，確保我們的服務和基礎設施更具容錯性，並能更快地從故障中恢復。

這些升級旨在提高CreditAI的精確性、可靠性和可擴展性。

Octus的首席技術官Vishal Saxena表示：“CreditAI是一個首創的生成AI應用，專注於整個信用生命周期。它是真正的‘嵌入式AI’軟件，將尖端的AI技術與企業數據架構和統一的雲策略相結合。”

結論

Octus的CreditAI是公司的旗艦對話式聊天機器人，支持自然語言查詢，並能即時訪問超過10,000家公司來自數十萬篇專有情報文章的見解。在這篇文章中，我們詳細描述了Octus遷移到Amazon Bedrock的動機、過程和結果。通過這次遷移，Octus實現了顯著的成果，包括運營成本降低超過75%以及用戶參與度提高250%。未來的步驟包括採用重新排序、RAG評估器和先進解析等新功能，以進一步降低成本並提高性能。我們相信，Octus與AWS的合作將繼續革新金融分析和研究工作流程。

要了解更多有關Amazon Bedrock的信息，請參考Amazon Bedrock用戶指南。

關於作者

Vaibhav Sabharwal是亞馬遜網絡服務（Amazon Web Services）的一名高級解決方案架構師，駐紐約。他熱衷於學習新的雲技術，幫助客戶建立雲採用策略、設計創新解決方案，並推動運營卓越。作為AWS金融服務技術領域社區的成員，他積極參與行業內的合作努力。

Yihnew Eshetu是Octus的AI工程高級總監，負責大規模開發AI解決方案以解決複雜的商業問題。他在AI/ML領域擁有七年的經驗，專長於生成AI和自然語言處理，專注於設計和部署智能AI系統。他在Octus的AI計劃中發揮了關鍵作用，包括領導其旗艦生成AI聊天機器人CreditAI的AI工程。

Harmandeep Sethi是Octus的SRE工程和基礎設施框架高級總監，擁有近10年的經驗，領導高效團隊設計、實施和優化大規模、高可用性和可靠系統。他在轉型和現代化Credit AI基礎設施和服務方面發揮了關鍵作用，推動可觀察性、韌性工程和通過基礎設施框架自動化運營流程的最佳實踐。

Rohan Acharya是Octus的AI工程師，專注於構建和優化大規模的AI驅動解決方案。他在生成AI和自然語言處理方面擁有專業知識，專注於設計和部署增強自動化和決策的智能系統。他的工作涉及開發穩健的AI架構，並推進Octus的AI計劃，包括CreditAI的演進。

Hasan Hasibul是Octus的首席架構師，領導DevOps團隊，擁有近12年的經驗，專注於構建可擴展的複雜架構，同時遵循軟件開發最佳實踐。他是乾淨代碼的真正倡導者，熱衷於解決複雜問題和自動化基礎設施。對DevOps、基礎設施自動化和最新AI進展充滿熱情，他設計了Octus的初始CreditAI，推動創新邊界。

Philipe Gutemberg是Octus的首席軟件工程師和AI應用開發團隊負責人，熱衷於利用技術實現有影響力的解決方案。他是AWS認證解決方案架構師 – 助理（SAA），在軟件架構、雲計算和領導方面擁有專業知識。Philipe負責CreditAI的後端和前端應用開發，確保系統可擴展，將AI驅動的見解整合到金融應用中。他是一位解決問題的專家，喜歡在快節奏的環境中工作，為金融機構提供創新解決方案，同時促進導師指導、團隊發展和持續學習。

Kishore Iyer是Octus的AI應用開發和工程副總裁。他領導團隊構建、維護和支持Octus面向客戶的生成AI應用，包括我們的旗艦AI產品CreditAI。在加入Octus之前，Kishore在大型企業、初創公司、研究實驗室和學術界擔任工程領導角色，擁有超過15年的經驗。他擁有羅格斯大學的計算機工程博士學位。

Kshitiz Agarwal是亞馬遜網絡服務（AWS）的工程領導者，負責Amazon Bedrock知識庫的開發。在亞馬遜工作十年，Kshitiz深入了解雲計算領域。他熱衷於與客戶互動，了解他們利用AWS推動業務成功的創新方式。通過他的工作，Kshitiz旨在為AWS服務的持續改進做出貢獻，幫助客戶發揮雲的全部潛力。

Sandeep Singh是亞馬遜網絡服務的高級生成AI數據科學家，幫助企業利用生成AI進行創新。他專注於生成AI、機器學習和系統設計，成功交付了最先進的AI/ML解決方案，以解決各行各業的複雜商業問題，優化效率和可擴展性。