重新思考公共部門數據中心以實現人工智慧驅動的數位轉型

人工智慧已經成為公共部門現代化的重要基石，讓資料中心的運作效率、能耗和運行方式變得更加關鍵。

生成式人工智慧模型需要龐大的計算能力來運作。例如，一次使用 ChatGPT 的查詢能耗超過 Google 搜索的十倍以上。為了應對這種急劇上升的電力需求，許多大型科技公司正在投資核能。亞馬遜 (Amazon) 和谷歌 (Google) 正在選擇新一代的小型模組化反應堆，以達成到 2030 年實現無排放運營的承諾。

然而，這些環保承諾是在人工智慧興起之前做出的，許多公共部門機構的可持續發展目標也是如此。許多首席資訊官 (CIO) 現在感到進退兩難，既需要增加人工智慧和自動化項目的能力，又必須同時減少能耗。

但這種平衡並非不可能，解決方案不僅限於圖形處理單元 (GPU)。伺服器技術和人工智慧加速器的進步可以讓資料中心安全地整合人工智慧，同時確保長期的可擴展性和可持續性。

縮小人工智慧抱負與可持續IT之間的差距

十多年來，公共部門機構的現代化努力主要集中在將適當的工作負載轉移到雲端環境。直到機構開始質疑將敏感數據放入公共生成式人工智慧工具的安全性，更新資料中心硬體才成為優先事項。

許多機構可以利用現有的中央處理單元 (CPU) 平台來處理人工智慧工作負載，而無需購買專用的 GPU。用最新一代的伺服器和處理器替換老舊的資料中心元件，可以為機構提供顯著的計算能力和能效提升。根據 IDC 的研究，將一台五年歷史的伺服器更新為最新處理器可以將總擁有成本降低 77%，因為這樣可以減少為達到相同性能所需的伺服器數量。將工作負載集中在更少的伺服器和核心上，也可以降低軟體授權成本，縮小資料中心的整體面積和運營開支。

人工智慧加速器是使這一切成為可能的關鍵，這就像用氮氧化物提升汽車性能一樣。這些 CPU 是為高級計算而設計，具有較高的記憶體和數據傳輸能力，特別適合 AI 推理等任務。另一方面，GPU 在記憶體規格上則稍顯不足。它們的優勢在於並行處理任務，例如訓練 AI 模型。然而，大約 80% 的人工智慧工作負載都是圍繞推理進行的。

公共部門人工智慧的快速成功

人工智慧的發展總是快速變化，因此對於如何開始採用人工智慧，機構可能會感到困惑。公共部門並沒有一套成熟的操作手冊可供遵循。機構的第一反應往往是建立自己的版本，以維護對敏感數據的控制並強化安全要求。然而，這種做法通常耗時且成本高昂，且常常落後於私營部門發展的能力。

與其投資昂貴的 GPU 集群或從一開始就建立大型語言模型 (LLM)，機構可以利用預訓練的小型語言模型 (SLM) 和數據處理技術，充分利用現有資料中心。在不到一週的時間內，機構就可以推出一個簡單的聊天機器人，回答市民的問題，顯著改善市民服務，而無需花時間從頭開始構建所有內容。

領導者也應該優先進行實驗。雖然公共生成式人工智慧工具如 ChatGPT 和 Anthropic 提供了快速入門的機會，但數據隱私是一個合理的擔憂。私有生成式人工智慧使用開源的 LLM 或 SLM，為機構提供了一個更安全的空間來嘗試新方法，而不會將數據洩漏到公共領域。根據它們使用的架構，機構可以跳過訓練模型，卻仍然能夠理解潛在的用例和限制。每天，開發人員都會創造新的技術，將私有生成式人工智慧的用例擴展到總結文件、翻譯服務，甚至增強決策。現在正是機構領導者著手為未來收穫播下種子的時候。

公共部門採用人工智慧的道路並不是在創新和可持續性之間的選擇。深思熟慮的資料中心更新可以提供人工智慧項目所需的性能和容量，同時保持低能耗。隨著人工智慧的發展，公共部門的 CIO 有機會在負責任的人工智慧採用中引領潮流，展現技術進步與環境管理可以並行不悖。