小型語言模型：2025年十大突破技術

科技公司推出小型語言模型

現在大多數大型科技公司都有它們的主打產品的小型版本：OpenAI 提供 GPT-4o 和 GPT-4o mini；Google DeepMind 有 Gemini Ultra 和 Gemini Nano；而 Anthropic 的 Claude 3 則有三種不同的版本：大型的 Opus、中型的 Sonnet 和小型的 Haiku。微軟則在開發一系列名為 Phi 的小型語言模型。

小型公司也在參與

越來越多的小型公司也提供小型模型。人工智慧初創公司 Writer 宣稱，它最新的語言模型在許多重要指標上，表現與最大的頂級模型相當，儘管在某些情況下，它的參數數量只有大型模型的二十分之一（參數是訓練過程中計算的數值，決定模型的行為）。

小型模型的優勢

小型模型更有效率，訓練和運行的速度都更快。這對於想要更實惠的入門方案的人來說是個好消息。而且這對於氣候也可能有好處：因為小型模型所需的計算能力遠低於大型模型，所以它們消耗的能源更少。

隨身攜帶的小型模型

這些小型模型也很方便攜帶：它們可以直接在我們的口袋裡運行，而不需要向雲端發送請求。小型模型將是下一個大趨勢。