Mistral-Small-24B-Instruct-2501 現已在 SageMaker Jumpstart 和 Amazon Bedrock Marketplace 上架

今天，我們很高興地宣布，Mistral-Small-24B-Instruct-2501——這是一個由 Mistral AI 開發的擁有240億個參數的大型語言模型（LLM），專門優化用於低延遲的文本生成任務，現在可以通過 Amazon SageMaker JumpStart 和 Amazon Bedrock Marketplace 提供給客戶。Amazon Bedrock Marketplace 是 Amazon Bedrock 中的一項新功能，開發者可以利用它來發現、測試和使用超過100個流行、新興和專業的基礎模型（FMs），這些模型與 Amazon Bedrock 中目前的行業領先模型一起使用。這些模型是 Amazon Bedrock 上已經可用的行業領先模型的補充。您還可以使用 SageMaker JumpStart，這是一個機器學習（ML）中心，提供可以一鍵部署的算法和模型，以進行推斷。在這篇文章中，我們將介紹如何發現、部署和使用 Mistral-Small-24B-Instruct-2501。

Mistral Small 3 (2501) 概述

Mistral Small 3 (2501) 是一個延遲優化的24B參數模型，根據 Apache 2.0 發布，保持了性能和計算效率之間的平衡。Mistral 提供了預訓練的模型（Mistral-Small-24B-Base-2501）和指令調整的模型（Mistral-Small-24B-Instruct-2501）兩個版本。Mistral Small 3 (2501) 擁有32k的上下文窗口。根據 Mistral 的說法，該模型在代碼、數學、一般知識和遵循指令方面的表現優於同類產品。Mistral Small 3 (2501) 是為了滿足80%的生成 AI 任務需求而設計的，這些任務需要強大的語言和指令遵循性能，並且延遲非常低。指令調整過程專注於提高模型遵循複雜指令的能力、保持連貫的對話以及生成準確的、上下文感知的回應。2501 版本在2024年發布的前幾個版本（Mistral-Small-2409 和 Mistral-Small-2402）基礎上進行了改進，增強了指令遵循和可靠性。目前，這個模型的指令版本 Mistral-Small-24B-Instruct-2501 已經可以供客戶在 SageMaker JumpStart 和 Bedrock Marketplace 上部署和使用。

優化對話助手

Mistral Small 3 (2501) 在需要快速、準確回應的場景中表現出色，例如虛擬助手。這包括用戶期望立即反饋和近乎實時互動的虛擬助手。Mistral Small 3 (2501) 在自動化或代理工作流程中可以快速執行功能。根據 Mistral 的說法，該架構通常能在100毫秒內作出回應，使其非常適合用於客戶服務自動化、互動助手、即時聊天和內容審核。

性能指標和基準

根據 Mistral 的說法，該模型的指令調整版本在大規模多任務語言理解（MMLU）測試中達到了超過81%的準確率，延遲為每秒150個標記，這使其成為目前該類別中最有效的模型。在 Mistral 進行的第三方評估中，該模型的表現與更大的模型如 Llama 3.3 70B 和 Qwen 32B 相比也非常有競爭力。值得注意的是，Mistral 宣稱該模型的表現與 Llama 3.3 70B 的指令版本相同，並且在相同硬體上速度超過三倍。

SageMaker JumpStart 概述

SageMaker JumpStart 是一項完全管理的服務，提供最先進的基礎模型，適用於各種用例，如內容寫作、代碼生成、問題回答、文案撰寫、摘要、分類和信息檢索。它提供了一系列預訓練模型，您可以快速部署，加快 ML 應用的開發和部署。SageMaker JumpStart 的一個關鍵組件是模型中心，提供了大量的預訓練模型，如 Mistral，適用於各種任務。

您現在可以在 Amazon SageMaker Studio 中發現和部署 Mistral 模型，或者通過 SageMaker Python SDK 以編程方式進行，這樣您就可以利用 Amazon SageMaker 的功能，如 Amazon SageMaker Pipelines、Amazon SageMaker Debugger 或容器日誌，來獲取模型性能和 MLOps 控制。該模型在安全的 AWS 環境中部署，並在您的 VPC 控制下運行，幫助支持企業的數據安全需求。

前提條件

要在 SageMaker JumpStart 中嘗試 Mistral-Small-24B-Instruct-2501，您需要以下前提條件：

Amazon Bedrock Marketplace 概述

要開始使用，請在 AWS 管理控制台中選擇 Amazon Bedrock 的基礎模型部分中的模型目錄。在這裡，您可以搜索幫助您解決特定用例或語言的模型。搜索結果包括無伺服器模型和可在 Amazon Bedrock Marketplace 中獲得的模型。您可以按提供商、模式（如文本、圖像或音頻）或任務（如分類或文本摘要）過濾結果。

在 Amazon Bedrock Marketplace 部署 Mistral-Small-24B-Instruct-2501

要訪問 Amazon Bedrock 中的 Mistral-Small-24B-Instruct-2501，請完成以下步驟：

在 Amazon Bedrock 控制台中，選擇導航窗格中的基礎模型下的模型目錄。

在撰寫本文時，您可以使用 InvokeModel API 來調用該模型。它不支持 Converse API 或其他 Amazon Bedrock 工具。

過濾提供商為 Mistral，然後選擇 Mistral-Small-24B-Instruct-2501。

模型詳細頁面提供有關模型能力、定價結構和實施指南的重要信息。您可以找到詳細的使用說明，包括示例 API 調用和集成的代碼片段。

該頁面還包括部署選項和許可信息，幫助您開始在應用中使用 Mistral-Small-24B-Instruct-2501。

要開始使用 Mistral-Small-24B-Instruct-2501，請選擇部署。
系統會提示您配置 Mistral-Small-24B-Instruct-2501 的部署詳細信息。模型 ID 將自動填充。

對於端點名稱，輸入一個端點名稱（最多50個字母和數字）。
對於實例數，輸入1到100之間的數字。
對於實例類型，選擇您的實例類型。為了獲得最佳性能，建議使用基於 GPU 的實例類型，如 ml.g6.12xlarge。
可選地，您可以配置高級安全性和基礎設施設置，包括虛擬私有雲（VPC）網絡、服務角色權限和加密設置。對於大多數用例，默認設置將運行良好。然而，對於生產部署，您可能希望檢查這些設置，以符合您組織的安全和合規要求。

選擇部署以開始使用該模型。

當部署完成後，您可以直接在 Amazon Bedrock 遊樂場測試 Mistral-Small-24B-Instruct-2501 的能力。

選擇在遊樂場中打開，以訪問一個互動界面，您可以在其中實驗不同的提示並調整模型參數，如溫度和最大長度。

在使用 Amazon Bedrock InvokeModel 和 Playground 控制台時，使用 DeepSeek 的聊天模板以獲得最佳結果。例如，<｜begin▁of▁sentence｜><｜User｜>推斷內容<｜Assistant｜>。

這是一個很好的方法，可以在將模型集成到您的應用之前，探索其推理和文本生成能力。遊樂場提供即時反饋，幫助您了解模型如何對不同的輸入作出反應，並讓您微調提示以獲得最佳結果。

您可以通過 UI 快速在遊樂場中測試模型。然而，要通過 Amazon Bedrock API 以編程方式調用已部署的模型，您需要獲取端點的 Amazon 資源名稱（ARN）。

在 SageMaker JumpStart 中發現 Mistral-Small-24B-Instruct-2501

您可以通過 SageMaker JumpStart 在 SageMaker Studio UI 和 SageMaker Python SDK 中訪問 Mistral-Small-24B-Instruct-2501。在這一部分中，我們將介紹如何在 SageMaker Studio 中發現模型。

SageMaker Studio 是一個集成開發環境（IDE），提供一個基於網頁的可視化界面，您可以在其中訪問專門設計的工具，以執行從準備數據到構建、訓練和部署 ML 模型的開發步驟。要了解如何開始使用和設置 SageMaker Studio，請參見 Amazon SageMaker Studio。

在 SageMaker Studio 控制台中，通過選擇導航窗格中的 JumpStart 來訪問 SageMaker JumpStart。
選擇 HuggingFace。
在 SageMaker JumpStart 登陸頁面中，使用搜索框搜索 Mistral-Small-24B-Instruct-2501。
選擇模型卡以查看有關模型的詳細信息，例如許可證、用於訓練的數據以及如何使用該模型。選擇部署以部署模型並創建端點。

使用 SageMaker SDK 部署 Mistral-Small-24B-Instruct-2501

當您選擇部署時，部署開始。部署完成後，您將看到創建了一個端點。通過傳遞示例推斷請求負載或選擇使用 SDK 的測試選項來測試該端點。當您選擇使用 SDK 的選項時，您將看到可以在 SageMaker Studio 的筆記本編輯器中使用的示例代碼。

要使用 SDK 進行部署，首先選擇 Mistral-Small-24B-Instruct-2501 模型，並指定 model_id 的值為 mistral-small-24B-instruct-2501。您可以使用以下代碼在 SageMaker 上部署所選模型。同樣，您可以使用其模型 ID 部署 Mistral-Small-24B-Instruct-2501。

from sagemaker.jumpstart.model import JumpStartModel

accept_eula = True

model = JumpStartModel(model_id=”huggingface-llm-mistral-small-24b-instruct-2501″)
predictor = model.deploy(accept_eula=accept_eula)

這將使用默認配置在 SageMaker 上部署該模型，包括默認實例類型和默認 VPC 配置。您可以通過在 JumpStartModel 中指定非默認值來更改這些配置。EULA 值必須明確定義為 True，以接受最終用戶許可協議（EULA）。有關如何請求服務配額增加，請參見 AWS 服務配額。

部署模型後，您可以通過 SageMaker 預測器對已部署的端點進行推斷：

prompt = “Hello!”
payload = {
“messages”: [
{
“role”: “user”,
“content”: prompt
}
],
“max_tokens”: 4000,
“temperature”: 0.1,
“top_p”: 0.9,
}

response = predictor.predict(payload)
print(response[‘choices’][0][‘message’][‘content’])

零售數學示例

以下是 Mistral-Small-24B-Instruct-2501 如何分解一個常見購物場景的示例。在這個例子中，您要求模型計算在應用多個折扣後，襯衫的最終價格——這是我們許多人在購物時面臨的情況。請注意，模型提供了一個清晰的逐步解決方案。

prompt = “一家商店正在進行20%的折扣促銷，您還有一張額外的10%折扣券。如果您購買一件原價50美元的襯衫，您需要支付多少錢？”
payload = {
“messages”: [
{
“role”: “user”,
“content”: prompt
}
],
“max_tokens”: 1000,
“temperature”: 0.1,
“top_p”: 0.9,
}

response = predictor.predict(payload)
print(response[‘choices’][0][‘message’][‘content’])

以下是輸出結果：

首先，我們將對襯衫的原價應用20%的折扣。

20% 的 $50 計算如下：
0.20 * $50 = $10

因此，經過20%折扣後的價格為：
$50 – $10 = $40

接下來，我們將對新的價格 $40 應用額外的10%折扣券。

10% 的 $40 計算如下：
0.10 * $40 = $4

因此，經過額外10%折扣後的價格為：
$40 – $4 = $36

因此，您將支付 $36 購買襯衫。

這個回應展示了清晰的逐步推理，沒有引入錯誤信息或虛構事實。每一步數學計算都明確顯示，使得驗證計算的準確性變得簡單。

清理

為了避免不必要的費用，請完成本節中的以下步驟以清理您的資源。

刪除 Amazon Bedrock Marketplace 部署

如果您使用 Amazon Bedrock Marketplace 部署了模型，請完成以下步驟：

在 Amazon Bedrock 控制台中，選擇導航窗格中的基礎模型下的市場部署。
在管理部署部分，找到您想要刪除的端點。
選擇該端點，然後在操作菜單中選擇刪除。
驗證端點詳細信息，以確保您正在刪除正確的部署：

端點名稱
模型名稱
端點狀態

選擇刪除以刪除該端點。
在刪除確認對話框中，查看警告消息，輸入 confirm，然後選擇刪除以永久移除該端點。

刪除 SageMaker JumpStart 預測器

在您完成運行筆記本後，請確保刪除過程中創建的所有資源，以避免額外的計費。更多詳細信息，請參見刪除端點和資源。

predictor.delete_model()
predictor.delete_endpoint()

結論

在這篇文章中，我們向您展示了如何在 SageMaker Studio 中開始使用 Mistral-Small-24B-Instruct-2501 並部署該模型進行推斷。由於基礎模型是預訓練的，它們可以幫助降低訓練和基礎設施成本，並使您的用例能夠進行定制。現在就訪問 SageMaker Studio 中的 SageMaker JumpStart 開始吧。

有關 AWS 上 Mistral 的更多資源，請查看 Mistral-on-AWS GitHub 倉庫。