OpenAI的新o1模型可能會改變硬體市場

OpenAI 和其他領先的人工智慧公司正在開發新訓練技術

OpenAI 和其他領先的人工智慧公司正在開發新的訓練技術，以克服目前方法的限制。這些新技術旨在解決在開發更大、更強大的語言模型時出現的意外延遲和複雜問題，並專注於模仿人類行為來教導算法「思考」。

新技術的潛力

據報導，這些新訓練技術是由十多位人工智慧研究人員、科學家和投資者領導的，這些技術支撐了 OpenAI 最近的「o1」模型（以前稱為 Q* 和 Strawberry），有潛力改變人工智慧開發的格局。這些進展可能會影響人工智慧公司持續需要的資源類型或數量，包括專門的硬體和能源，以幫助開發人工智慧模型。

o1 模型的設計

o1 模型的設計是為了模仿人類的推理和思考方式，將許多任務分解成步驟。該模型還利用人工智慧行業專家提供的專門數據和反饋來提升其性能。

人工智慧的創新浪潮

自從 OpenAI 在 2022 年推出 ChatGPT 以來，人工智慧的創新激增，許多科技公司聲稱現有的人工智慧模型需要擴展，無論是透過更多的數據還是改進的計算資源。只有這樣，人工智慧模型才能持續改進。

擴展的挑戰

現在，人工智慧專家報告了擴展人工智慧模型的限制。2010 年代是擴展的革命時期，但人工智慧實驗室 Safe Superintelligence (SSI) 和 OpenAI 的共同創辦人 Ilya Sutskever 表示，特別是在理解語言結構和模式方面，人工智慧模型的訓練已經趨於平穩。

「2010 年代是擴展的時代，現在我們再次回到了驚奇和發現的時代。擴展正確的東西現在比以往更重要。」他們說。

大型語言模型的挑戰

最近，人工智慧實驗室的研究人員在開發和發布比 OpenAI 的 GPT-4 模型更強大的大型語言模型（LLM）時遇到了延遲和挑戰。

首先，訓練大型模型的成本通常高達數千萬美元。而且，由於系統複雜性導致的硬體故障等問題，對這些模型運行的最終分析可能需要幾個月的時間。

除了這些挑戰外，訓練過程需要大量的能源，這常常導致電力短缺，可能會干擾過程並影響更廣泛的電網。另一個問題是大型語言模型使用的數據量巨大，據報導，人工智慧模型已經耗盡了全球所有可用的數據。

測試時計算技術

研究人員正在探索一種稱為「測試時計算」的技術，以改善當前人工智慧模型在訓練或推理階段的表現。這種方法可以在實時生成多個答案，以決定最佳解決方案的範圍。因此，模型可以將更多的處理資源分配給需要人類般決策和推理的困難任務。目標是使模型更準確和更有能力。

驚人的結果

Noam Brown 是 OpenAI 的研究人員，他幫助開發了 o1 模型，他分享了一個新方法如何取得驚人結果的例子。在上個月的 TED AI 會議上，Brown 解釋說，「讓一個機器人在撲克遊戲中思考 20 秒，所得到的提升效果與將模型擴大 100,000 倍並訓練 100,000 倍長的效果相同。」

這種方法不僅僅是增加模型的大小和訓練時間，而是改變人工智慧模型處理信息的方式，從而導致更強大、更高效的系統。

其他實驗室的發展

據報導，其他人工智慧實驗室也在開發 o1 技術的版本，包括 xAI、Google DeepMind 和 Anthropic。人工智慧界的競爭並不新鮮，但我們可能會看到新技術對人工智慧硬體市場的重大影響。像 Nvidia 這樣的公司，由於其產品的高需求，目前主導著人工智慧晶片的供應，可能會受到更新的人工智慧訓練技術的特別影響。

Nvidia 的崛起

Nvidia 在十月成為全球最有價值的公司，其財富的增長主要歸功於其晶片在人工智慧陣列中的使用。新技術可能會影響 Nvidia 的市場地位，迫使該公司調整其產品以滿足不斷變化的人工智慧硬體需求。這可能會為推理市場的新競爭者開啟更多的機會。

人工智慧發展的新時代

一個新的人工智慧發展時代可能即將來臨，這是由不斷演變的硬體需求和更高效的訓練方法驅動的，例如在 o1 模型中使用的方法。人工智慧模型及其背後公司的未來可能會被重新塑造，開啟前所未有的可能性和更大的競爭。

參考資料

還有：Anthropic 呼籲對人工智慧進行監管，以避免災難。