在2025年，企業家 將釋放一波由人工智慧驅動的應用程式。終於，生成式AI將以一批新穎且價格合理的消費者和商業應用程式實現其炒作。這並不是當前的共識觀點。OpenAI、Google和xAI正在進行一場軍備競賽，以訓練最強大的大型語言模型（LLM），以追求被稱為人工一般智慧（AGI）的目標，而他們的角鬥士般的競爭主導著新興的生成AI生態系統的心智份額和收入份額。
例如，埃隆·馬斯克籌集了60億美元來啟動新進者xAI，並購買了10萬個Nvidia H100 GPU，這些昂貴的芯片用於處理AI，訓練其模型Grok花費超過30億美元。以這些價格，只有科技巨頭才能負擔得起這些巨型LLM。
OpenAI、Google和xAI等公司的驚人開支創造了一個不平衡的生態系統，底部沉重而頂部輕薄。這些大型GPU農場訓練出來的LLM通常在推理方面也非常昂貴，推理是輸入提示並從大型語言模型生成響應的過程，這一過程嵌入了每個使用AI的應用程式中。這就像每個人都有5G智能手機，但使用數據的成本太高，以至於沒有人能觀看TikTok視頻或瀏覽社交媒體。因此，高推理成本的優秀LLM使得擴散殺手級應用變得無法承擔。
這種超富科技巨頭互相競爭的不平衡生態系統使Nvidia受益，同時迫使應用開發者陷入兩難：要麼使用低成本且低性能的模型，注定會讓用戶失望；要麼面對高昂的推理成本，冒著破產的風險。
在2025年，將出現一種新的方法，可以改變這一切。這將回到我們從以往技術革命中學到的教訓，比如Intel和Windows的PC時代，或Qualcomm和Android的移動時代，在這些時代中，摩爾定律年年改善PC和應用，而更低的帶寬成本則年年改善手機和應用。
但高推理成本怎麼辦？AI推理的新法則就在眼前。推理的成本每年下降了10倍，這是由於新的AI算法、推理技術以及價格更低的更好芯片的推動。
作為參考點，如果第三方開發者使用OpenAI的頂級模型來構建AI搜索，在2023年5月，成本約為每次查詢10美元，而Google的非生成AI搜索則花費0.01美元，相差1,000倍。但到2024年5月，OpenAI的頂級模型的價格降至每次查詢約1美元。在這個前所未有的每年價格下降10倍的情況下，應用開發者將能夠使用越來越高質量和低成本的模型，這將導致未來兩年AI應用的激增。
