從零開始在 Rust 中訓練 LLM | 斯特凡諾·博西西奧 | 2024 年 12 月

在我上一篇文章中，我介紹了矩陣乘法的問題，說明了注意力算法如何使用矩陣乘法來進行平均處理，並展示了如何有效地在 Rust 中實現一個矩陣乘法函數，使用 Blas 函式庫。

在這篇新文章中，我想展示我在 Rust 中實現 llm.c 的第一個基礎組件，也就是從頭開始訓練一個類似 GPT 的模型。這是我學習 Rust 生態系統的方式，並理解它與 C 語言的可比性。特別是，我希望我的程式碼能夠訓練一個類似 GPT 的模型，從 GPT 的權重開始，只使用 CPU——也就是不使用 GPU 或 TPU。我想了解我們可以在普通筆記型電腦上推進這些模型的程度，以及 Rust 生態系統在這方面的應用潛力。最終，這段程式碼也可能對於根據特定的輸入語料庫來微調 GPT 模型有幫助。

所有相關的程式碼都可以在這裡找到。