如何利用 Amazon Bedrock 擴大內容創建並在 10 秒內增強酒店描述

TUI 集團是全球領先的旅遊服務公司之一，為 2100 萬名顧客提供無與倫比的假期體驗，遍及 180 個地區。TUI 集團涵蓋了完整的旅遊鏈，擁有超過 400 家自有酒店、16 艘郵輪、1200 家旅行社和 5 家航空公司，覆蓋全球所有主要的度假目的地。在 TUI，創作高品質的內容是其推廣策略的重要組成部分。

TUI 的內容團隊負責為其網站創作高品質的內容，包括產品詳情、酒店資訊和旅遊指南，通常使用酒店和第三方合作夥伴撰寫的描述。這些內容需要遵循 TUI 的語調，這對於傳達品牌獨特的個性至關重要。然而，隨著其產品組合擴大，包含更多酒店和服務，擴大內容創作的規模變得具有挑戰性。這為利用生成式人工智慧增強和自動化現有內容創作流程提供了機會。

在這篇文章中，我們討論了如何使用 Amazon SageMaker 和 Amazon Bedrock 建立一個內容生成器，根據特定的品牌和風格指導方針重寫市場推廣內容。Amazon Bedrock 是一項完全管理的服務，提供來自 AI 公司如 AI21 Labs、Anthropic、Cohere、Meta、Mistral AI、Stability AI 和 Amazon 的高效基礎模型 (FMs)，通過單一 API 提供，並具備建立生成式 AI 應用所需的廣泛功能，包括安全性、隱私和負責任的 AI。Amazon SageMaker 幫助數據科學家和機器學習 (ML) 工程師從零開始構建 FMs，使用先進技術評估和自定義 FMs，並對具有嚴格準確性、延遲和成本要求的生成式 AI 用例進行精細控制。

通過實驗，我們發現採用兩階段的方法最有效，以確保輸出符合 TUI 的語調要求。第一階段是對一個較小的大型語言模型 (LLM) 進行微調，使用大量數據集。第二階段則使用不同的 LLM 模型進行後處理。通過微調，我們生成的內容模仿 TUI 的品牌語調，使用靜態數據，這是通過提示工程無法捕捉到的。使用少量示例的第二個模型幫助驗證輸出遵循特定的格式和語法規則。後者使用更動態的數據集，未來我們可以快速調整輸出以滿足不同的品牌需求。總體來看，這種方法產生了更高品質的內容，並使 TUI 能夠以更快的速度提高內容質量。

解決方案概述

架構由幾個關鍵組件組成：

LLM 模型 – 我們評估了不同的方法，發現兩個模型的解決方案表現最佳。這包括一個經過微調的 Meta Llama 模型，用於生成給定酒店的描述，以及 Anthropic 的 Claude 模型，用於重新格式化其輸出。微調和托管 Meta Llama 2 模型是在 Amazon SageMaker 上進行的，而 Anthropic 的 Claude 2 則通過 API 調用從 Amazon Bedrock 獲取。
協調 – 我們使用 AWS Step Functions 創建了一個狀態機，批量調用這兩個 LLM，並從第三方 API 獲取生成內容的搜索引擎優化 (SEO) 分數。如果 SEO 內容分數超過定義的閾值 (80%)，則生成的內容將存儲在 Amazon DynamoDB 表中，內容團隊可以在前端 UI 中直接進行審查。通過這個過程，我們在大規模上維護和監控內容質量。
人工反饋 – 我們開發了一個自定義的 React 前端應用程序，以收集內容團隊的反饋，促進持續改進和未來模型的微調。您可以使用反饋在 SageMaker 上對基本模型進行強化學習 (RLHF) 的微調，以提高性能。

以下圖表顯示了解決方案的高級架構。

提示工程

我們開始時創作了提示，包含 TUI 內容團隊識別的最常見問題，包括語調、準確性、長度和語法。我們向 LLM 提供了一些在上下文窗口內策劃的內容示例。雖然生成的輸出遵循了指導，但寫作風格並未符合 TUI 的語調要求。

 示例提示:

以下是我們收到的結果示例。

原始文本
生成文本

這家小而完美的酒店擁有時尚的室內設計和優越的地理位置。雖然只有 15 間客房，但這家酒店的室內設計卻令人驚豔。無瑕的游泳池位於開放的中庭區域，還有時尚的雞尾酒酒吧和休息室。這裡的地理位置同樣令人印象深刻，距離海灘約 10 分鐘的步行路程，距離 Thassos Town 的中心更是不到一半的距離。
這家小型酒店為 Thassos Town 帶來了時尚的風格。其無瑕的游泳池和時尚的雞尾酒酒吧在熱鬧的環境中創造了一個綠洲。海灘距離酒店僅 10 分鐘的步行路程，讓你可以輕鬆地在日光浴和觀光之間切換。只有 15 間客房，讓你的住宿感覺既親密又世界化。室內設計將現代風格與傳統元素相結合，呈現出獨特的外觀。中央位置意味著考古博物館和購物街等熱門景點就在你家門口。

為了評估這些結果，我們生成了一個包含 150 個酒店描述的數據集，使用兩個不同的提示版本，並要求我們的業務團隊進行審查。然而，他們標記了 98% 的輸出存在重大問題。首先，Anthropic 的 Claude 2 在遵循 TUI 的語調和品牌指導方針方面遇到了困難，經常使用縮寫，並偏好美式英語而非英式英語。它還未能遵循提供的 SEO 指導方針，有時生成有關酒店設施和位置的錯誤信息。以下圖像顯示了這些挑戰的列表以及 LLM 如何處理它們。在六個挑戰中，LLM 只滿足了一個。

使用 PEFT 在 Amazon SageMaker JumpStart 上微調 Llama 2

這些問題和不佳的反饋使我們得出結論，僅僅依賴提示工程無法充分解決問題。因此，我們決定採取另一種方法：微調一個較小的大型語言模型，以根據 TUI 的語調重寫文本。我們使用了一組由 TUI 文案撰寫人撰寫的策劃酒店描述，以便模型能更好地與我們的指導方針對齊。

我們選擇了 Meta Llama 2 模型，使用 Amazon SageMaker JumpStart，這是當時可用的頂級開源 LLM 之一，並選擇了 13B 參數版本以應用參數高效微調 (PEFT)，具體使用量化低秩適應 (QLoRA)。這種技術將預訓練模型量化為 4 位，並添加小型低秩適配器進行微調。我們在約 20 小時內使用約 4500 家酒店的相對較小數據集，在單個 ml.g5.4xlarge 實例上微調了該模型。我們還測試了 Llama 2 的 7B 和 70B 模型。我們發現 7B 模型的表現不夠好，而 70B 模型的成本更高，但未見顯著改善。

我們使用了常見的自然語言處理 (NLP) 評估指標，如困惑度進行評估和監控，並與內容團隊建立了每日反饋循環，以完善測試集。經過微調的 Meta Llama 2 13B 模型的輸出有效模仿了 TUI 的語調，並遵循了大多數 SEO 指導方針，即使這些指導方針未在提示中明確指出。

如需更多信息，請參閱在 Amazon SageMaker Jumpstart 上微調 Llama 2 以進行文本生成。

原始文本
生成文本

NH München City Süd 酒店，前身為 NH München am Ring，位於慕尼黑東南方。這裡的地理位置非常適合前往通往薩爾茨堡的高速公路，並提供良好的機場和展覽中心的通行。你也可以在 20 分鐘內搭乘 S-Bahn 到達市中心。這個安靜的住宅區為你提供了在 163 間客房中放鬆的絕佳機會。這些客房以白色和紅色為主色調裝飾。客房配有免費 Wi-Fi 和足夠容納筆記本電腦的電子保險箱。如果你需要工作，每間客房都有寬敞的書桌，還有提供獨立客廳的公寓，適合長期入住的客人。套房還配有獨立的客廳，並可應要求提供折疊床。早餐提供大量冷盤、奶酪、新鮮糕點和水果，讓你為繁忙的一天做好準備。這些都配有新鮮煮製的咖啡、茶和新鮮果汁。午餐和晚餐時，酒店附近有許多餐廳可供選擇。這裡還有一個桑拿供你放鬆，並且可以在車庫停車。

在慕尼黑的 München City Süd 酒店讓你感到賓至如歸。這家前身為 NH München am Ring 的酒店位於巴伐利亞首府東南方，使你輕鬆前往薩爾茨堡的高速公路和機場。距離 S-Bahn 車站 Karl-Preis-Platz 也只需短短步行路程，20 分鐘內即可到達市中心。

這裡的社區環境安靜，讓你在住宿期間能夠好好放鬆。酒店的 163 間客房以舒適的白色和紅色調裝飾。免費 Wi-Fi 和適合筆記本電腦的保險箱是標配，寬敞的書桌讓工作變得輕鬆。對於長期住宿的客人，還提供帶獨立起居區的公寓。套房更是升級，配有自己的起居空間，並可應要求提供折疊床。

每天早上享用豐富的早餐，冷盤、奶酪、糕點和水果應有盡有，搭配咖啡、茶和新鮮果汁。你會發現附近有許多餐飲選擇，方便你用餐。忙碌一天後，可以在桑拿中放鬆，或在車庫停車。

以下圖像顯示了挑戰的列表以及 LLM 如何處理它們。在六個挑戰中，LLM 滿足了四個。

整合 Anthropic 的 Claude 2 以進一步改進

為了進一步改善輸出，我們引入了 Anthropic 的 Claude 2，作為最終的精煉步驟。這包括將美式拼寫轉換為英式拼寫，將 1 到 9 的數字寫成單詞，將較大的數字用數字表示，修正拼寫錯誤和大寫錯誤，最小化禁止詞，納入必要的 TUI 品牌詞彙，並添加缺失的酒店信息。我們還在 UI 中實施了一個反饋機制，以便在生產中使用數據進行持續微調。通過使用 Anthropic Claude 2，我們確保最終輸出遵循剩餘的格式規則。

原始文本
生成文本

顧名思義，維也納運動酒店為運動愛好者提供了豐富的活動。

這裡有 10 個網球場和四個高爾夫模擬器，你還可以預訂教練來提升你的技能。此外，這裡還有一個戶外游泳池、一個設備齊全的健身房和一個大型桑拿。為了補充這些運動，你可以在早餐自助餐上享用美食。

就地理位置而言，這裡非常適合觀光。搭乘巴士，你可以在不到半小時的時間內到達霍夫堡宮、貝爾維第宮和卡爾教堂等地。距離最近的餐廳和咖啡館也只有 10 分鐘的步行路程。

維也納運動酒店的名字就暗示了這裡為運動和活動愛好者提供了豐富的選擇。你可以在 10 個網球場或四個高爾夫模擬器上提升你的技能，然後在戶外游泳池或設備齊全的健身房中放鬆。這裡甚至有教練可以幫助你完善技巧。

當你準備好補充能量時，享用早餐自助餐。然後準備好觀光——搭乘巴士，你可以在 30 分鐘內到達維也納的熱門景點，如霍夫堡宮、貝爾維第宮和卡爾教堂。你也只需短暫步行即可到達當地的餐廳和咖啡店。

以下圖像顯示了挑戰的列表以及 LLM 如何處理它們。LLM 滿足了所有六個挑戰。

主要成果

最終架構由微調的 Meta Llama 2 13B 模型和 Anthropic Claude 2 組成，充分利用了每個模型的優勢。在一項盲測中，這些動態生成的酒店描述在 50 家酒店的樣本中被評為比人類撰寫的描述高出 75%。我們還整合了一個第三方 API 來計算生成內容的 SEO 分數，並觀察到生成內容的 SEO 分數比人類撰寫的描述提高了最多 4%。最重要的是，內容生成過程現在快了五倍，提高了我們團隊的生產力，而不影響質量或一致性。我們可以在幾小時內生成大量的酒店描述，而這項任務以前需要幾個月。

收穫

未來，我們計劃探索這項技術如何解決當前的低效率和質量差距，特別是對於我們團隊無法策劃的酒店。我們計劃將這個解決方案擴展到 TUI 投資組合中的更多品牌和地區，包括用不同語言生成內容，並根據不同受眾的特定需求進行調整。

在這個項目中，我們學到了一些寶貴的經驗：

少量提示是成本效益高的，當你擁有有限的示例和具體的回應指導方針時，這是足夠的。微調可以顯著改善模型性能，當你需要調整內容以匹配品牌的語調時，但可能會消耗資源，並且基於靜態數據源，這些數據源可能會過時。
微調 Llama 70B 模型的成本遠高於 Llama 13B，且未見顯著改善。
整合人類反饋並保持人類參與的方式對於保護品牌完整性和持續改進解決方案至關重要。TUI 工程、內容和 SEO 團隊之間的合作對於該項目的成功至關重要。

雖然 Meta Llama 2 和 Anthropic 的 Claude 2 是我們實驗時可用的最新尖端模型，但自那時以來，我們已經看到了 Meta Llama 3 和 Anthropic 的 Claude 3.5 的推出，我們預期這將顯著改善我們的輸出質量。Amazon Bedrock 現在也支持對 Meta Llama 2、Cohere Command Light 和 Amazon Titan 模型進行微調，使測試模型變得更簡單和更快速，而無需管理基礎設施。

關於作者

Nikolaos Zavitsanos 是 TUI 的數據科學家，專注於使用 AWS 服務開發面向客戶的生成式 AI 應用程序。他擁有計算機科學和人工智慧的堅實背景，利用先進技術提升用戶體驗並推動創新。在工作之餘，Nikolaos 參加水球比賽，並在國家級別競爭。可以在 LinkedIn 上與 Nikolaos 連接。

Hin Yee Liu 是 Amazon Web Services 的高級原型參與經理。她幫助 AWS 客戶實現他們的創意，並加速新興技術的採用。Hin Yee 與客戶利益相關者密切合作，識別、塑造和交付利用生成式 AI、AI/ML、大數據和無伺服器技術的影響力用例，並使用敏捷方法論。在空閒時間，她喜歡編織、旅行和力量訓練。可以在 LinkedIn 上與 Hin Yee 連接。