我們非常高興地宣布,Cohere 的先進重排序模型 Rerank 3.5 現已通過我們在 Amazon Bedrock 中的新 Rerank API 提供使用。這個強大的重排序模型使 AWS 客戶能夠顯著改善其搜索相關性和內容排名能力。這個模型也可供 Amazon Bedrock 知識庫用戶使用。通過在 Amazon Bedrock 中整合 Cohere 的 Rerank 3.5,我們使企業級搜索技術更易於獲得,並使組織能夠在最小的基礎設施管理下增強其信息檢索系統。
在這篇文章中,我們討論了重排序的必要性、Cohere 的 Rerank 3.5 的功能,以及如何在 Amazon Bedrock 上開始使用它。
用於先進檢索的重排序
重排序是對檢索增強生成(RAG)系統的關鍵增強,增加了一個複雜的第二層分析,以改善搜索結果的相關性,超越傳統向量搜索所能實現的。與依賴預計算靜態向量的嵌入模型不同,重排序器會對文檔的相關性進行動態查詢時分析,從而實現更細緻和上下文的匹配。這一能力使 RAG 系統能夠有效平衡廣泛的文檔檢索和精確的上下文選擇,最終導致語言模型的輸出更加準確可靠,同時減少幻覺的可能性。
現有的搜索系統通過提供更具上下文相關性的結果來顯著受益於重排序技術,這直接影響用戶滿意度和業務結果。與傳統的關鍵字匹配或基本向量搜索不同,重排序執行智能的第二次分析,考慮多個因素,包括語義意義、用戶意圖和業務規則,以優化搜索結果的排序。在電子商務中,重排序通過理解搜索查詢與產品屬性之間的細微關係,幫助顯示最相關的產品,同時還考慮轉換率和庫存水平等關鍵業務指標。這種先進的相關性優化導致了改進的產品發現、更高的轉換率和增強的客戶滿意度,成為任何現代企業搜索基礎設施的重要組成部分。
介紹 Cohere Rerank 3.5
Cohere 的 Rerank 3.5 設計用於增強搜索和 RAG 系統。這個智能的交叉編碼模型接受一個查詢和一系列潛在相關文檔作為輸入,然後根據與查詢的語義相似性返回排序的文檔。Cohere Rerank 3.5 擅長理解需要推理的複雜信息,並能理解企業數據和用戶問題背後的含義。它能夠理解和分析超過 100 種語言的企業數據和用戶問題,包括阿拉伯語、中文、英語、法語、德語、印地語、日語、韓語、葡萄牙語、俄語和西班牙語,使其對於金融、醫療保健、酒店、能源、政府和製造等行業的全球組織特別有價值。
Cohere Rerank 3.5 的一個主要優勢是其實施的簡便性。通過在 Amazon Bedrock 中進行一次 Rerank API 調用,您可以在規模上將 Rerank 集成到現有系統中,無論是基於關鍵字的還是語義的。重排序嚴格改善了標準文本檢索基準上的第一階段檢索。
Cohere Rerank 3.5 在金融領域的表現堪稱一流,如下圖所示。
Cohere Rerank 3.5 在電子商務領域的表現同樣一流,如下圖所示。Cohere 的電子商務基準圍繞各種產品的檢索,包括時尚、電子產品、食品等。
產品以鍵值對格式結構化,如以下所示:
Cohere Rerank 3.5 在酒店業也表現出色,如下圖所示。酒店基準圍繞酒店體驗和住宿選擇的檢索。
文檔以鍵值對格式結構化,如以下所示:
我們在所有類型的問題追蹤任務中都看到了項目管理性能的顯著提升,如下圖所示。
Cohere 的項目管理基準涵蓋多種檢索任務,例如:
通過各種項目管理和問題追蹤軟件工具搜索工程票據
通過流行的開源庫中的 GitHub 問題進行搜索
開始使用 Cohere Rerank 3.5
要開始使用 Cohere Rerank 3.5 和 Rerank API 以及 Amazon Bedrock 知識庫,請導航到 Amazon Bedrock 控制台,然後點擊左側面板上的模型訪問。點擊修改訪問,選擇 Cohere Rerank 3.5,點擊下一步並提交。
開始使用 Amazon Bedrock Rerank API
由 Amazon Bedrock Rerank API 提供支持的 Cohere Rerank 3.5 模型允許您根據用戶查詢的語義相關性直接對輸入文檔進行重排序,而無需預先配置的知識庫。這種靈活性使其成為各種用例的強大工具。
首先,通過導入必要的庫並初始化 Boto3 客戶端來設置您的環境:
接下來,定義一個主函數,通過根據用戶查詢計算相關性分數來重新排序文本文檔列表:
例如,想象一種情況,您需要從多語言數據集中識別與退貨相關的電子郵件。下面的示例演示了這一過程:
現在,準備將傳遞到 rerank_text() 函數的文本來源列表:
然後,您可以通過指定用戶查詢、文本資源、所需的頂部排名結果數和模型 ARN 來調用 rerank_text():
由 Amazon Bedrock Rerank API 使用 Cohere Rerank 3.5 為此查詢生成的輸出為:
API 提供的相關性分數標準化在 [0, 1] 的範圍內,更高的分數表示與查詢的相關性更高。這裡列表中的第五項是最相關的。(從德文翻譯成英文:你好,我有關於我最後一個訂單的問題。我收到了錯誤的商品,需要退貨。)
您還可以通過完成以下步驟開始使用 Cohere Rerank 3.5 和 Amazon Bedrock 知識庫:
在 Amazon Bedrock 控制台中,選擇導航窗格中的 Builder 工具下的知識庫。
選擇創建知識庫。
提供您的知識庫詳細信息,例如名稱、權限和數據源。
要配置您的數據源,指定數據的位置。
選擇嵌入模型以將數據轉換為向量嵌入,並讓 Amazon Bedrock 在您的帳戶中創建一個向量存儲來存儲向量數據。
當您選擇此選項(僅在 Amazon Bedrock 控制台中可用)時,Amazon Bedrock 會在您的帳戶中創建一個向量索引,默認情況下在 Amazon OpenSearch Serverless 中,無需您自己管理任何內容。
檢查您的設置並創建知識庫。
在 Amazon Bedrock 控制台中,選擇您的知識庫並選擇測試知識庫。
選擇圖標以獲取測試知識庫的其他配置選項。
選擇您的模型(對於這篇文章,選擇 Cohere Rerank 3.5)並選擇應用。
配置面板顯示新的重排序部分菜單和其他配置選項。重新排序的源塊的數量返回指定數量的最高相關塊。
結論
在這篇文章中,我們探討了如何在 Amazon Bedrock 中使用 Cohere 的 Rerank 3.5 模型,展示了其增強搜索相關性和企業應用的強大重排序能力,提升了用戶體驗並優化了信息檢索工作流。立即使用 Cohere 的 Rerank 模型在 Amazon Bedrock 上改善您的搜索相關性。
Cohere Rerank 3.5 在 Amazon Bedrock 中可在以下 AWS 區域使用:us-west-2(美國西部 – 俄勒岡州)、ca-central-1(加拿大 – 中部)、eu-central-1(歐洲 – 法蘭克福)和 ap-northeast-1(亞太地區 – 東京)。
請將您的反饋發送至 AWS re:Post 或通過您通常的 AWS 支持聯繫人。
要了解更多有關 Cohere Rerank 3.5 的特性和功能,請查看 Cohere 在 Amazon Bedrock 的產品頁面。
關於作者
Karan Singh 是 AWS 第三方模型的生成式 AI 專家,與頂級第三方基礎模型(FM)提供商合作,制定和執行聯合市場進入策略,使客戶能夠有效地訓練、部署和擴展 FM,以解決行業特定的挑戰。Karan 擁有印度曼尼帕爾大學的電氣與儀表工程學士學位,西北大學的電氣工程碩士學位,並且目前是加州大學伯克利分校哈斯商學院的 MBA 候選人。
James Yi 是 Amazon Web Services 的高級 AI/ML 合作夥伴解決方案架構師。他負責 AWS 在新興技術方面的戰略合作夥伴關係,指導工程團隊設計和開發尖端的聯合解決方案,促進現場和技術團隊無縫部署、運行、安全和整合 AWS 上的合作夥伴解決方案。James 與業務領導者密切合作,以定義和執行聯合市場進入策略,推動基於雲的業務增長。在工作之外,他喜歡踢足球、旅行和與家人共度時光。