小巧更聰明。你真的需要頂尖的力量嗎… | 作者：亞歷山大·阿盧安 | 2024年12月

對大型語言模型（LLMs）環境影響的擔憂日益增長。雖然有關LLMs實際成本的詳細信息可能難以找到，但讓我們試著收集一些事實來理解其規模。

由於ChatGPT-4的全面數據尚未公開，我們可以考慮以Llama 3.1 405B作為例子。這款來自Meta的開源模型可以說是迄今為止最“透明”的LLM。根據各種基準，Llama 3.1 405B與ChatGPT-4相當，為理解該範圍內的LLMs提供了合理的基礎。

運行此模型的32位版本所需的硬體要求，根據來源（substratus, HuggingFace），範圍從1,620到1,944 GB的GPU記憶體。對於保守的估計，我們使用較低的數字1,620 GB。為了更好地理解——雖然這是一個簡化的比喻——1,620 GB的GPU記憶體大致相當於100台標準MacBook Pro（每台16GB）的總記憶體。因此，當你請求這些LLMs提供一份莎士比亞風格的提拉米蘇食譜時，需要100台MacBook Pro的運算能力才能給出答案。

我試圖將這些數字轉換為更具體的內容……儘管這不包括訓練成本，據估計這涉及約16,000個GPU，預估成本在6000萬美元（不包括硬體成本）——這是Meta的一項重大投資——過程大約持續了80天。在電力消耗方面，訓練需要11 GWh。

在像法國這樣的國家，每人的年度電力消耗約為2,300 kWh。因此，11 GWh相當於約4,782人的年度電力使用。這一消耗導致了約5,000噸CO₂當量溫室氣體的排放（基於歐洲平均水平），儘管這個數字可能因模型訓練的國家而輕易翻倍。

作為比較，燃燒1升柴油會產生2.54公斤的CO₂。因此，在像法國這樣的國家訓練Llama 3.1 405B的排放量大約相當於燃燒約200萬升柴油。這相當於約2800萬公里的汽車行駛距離。我想這提供了足夠的視角……而我甚至還沒提到冷卻GPU所需的水！

顯然，人工智慧仍處於初期階段，我們可以預期隨著時間的推移會出現更優化和可持續的解決方案。然而，在這場激烈的競賽中，OpenAI的財務狀況突顯了其收入和運營成本之間的顯著差距，尤其是在推理成本方面。2024年，該公司預計將花費約40億美元用於由微軟提供的推理工作負載的處理能力，而其年度收入估計在35億到45億美元之間。這意味著僅推理成本就幾乎達到了——甚至超過——OpenAI的總收入（deeplearning.ai）。

所有這一切都發生在專家宣佈AI模型的性能達到平台期（擴展範式）的背景下。增加模型大小和GPU的收益相較於之前的飛躍顯著減少，例如GPT-4相對於GPT-3的進步。“追求AGI一直是不切實際的，‘越大越好’的AI方法最終注定會遇到限制——我想這就是我們在這裡看到的，”初創公司Hugging Face的研究人員和AI負責人Sasha Luccioni表示。

但不要誤會我的意思——我不是在審判AI，因為我喜愛它！這一研究階段絕對是AI發展中的正常階段。然而，我認為我們需要在使用AI時保持常識：我們不能每次都用火箭筒來打死蚊子。AI必須變得可持續——不僅是為了保護我們的環境，還為了應對社會分歧。事實上，因為高成本和資源需求而使全球南方在AI競賽中落後的風險將會是這場新智能革命中的一個重大失敗。

那麼，你真的需要ChatGPT的全部能力來處理RAG管道中的最簡單任務嗎？你是否希望控制你的運營成本？你是否希望對你的管道進行完全的端到端控制？你是否擔心你的私人數據在網絡上流通？或者你可能只是對AI的影響心存關注，並致力於其負責任的使用？

小型語言模型（SLMs）提供了一個值得探索的絕佳替代方案。它們可以在你的本地基礎設施上運行，並且與人類智慧結合時，能夠提供可觀的價值。儘管目前對SLM沒有普遍認可的定義——例如，在2019年，參數為15億的GPT-2被視為LLM，但現在已不再如此——我所指的是像Mistral 7B、Llama-3.2 3B或Phi3.5等模型。這些模型可以在“良好”的計算機上運行，從而顯著減少碳足跡，同時在本地安裝時確保你的數據的保密性。儘管它們的靈活性較低，但在特定任務上明智地使用時，仍然可以提供可觀的價值——同時在環保方面更具優勢。