什麼是自適應梯度(Adagrad)優化器？

想像一下，你正在種植一個花園，裡面有各種植物，每種植物需要的水量都不同。如果你每天對所有植物使用相同的水量，有些植物會長得很好，而其他植物可能會因為水太多而淹死或水分不足。在機器學習中，類似的挑戰也存在於梯度下降法中，當對所有參數使用相同的學習率時，可能會導致學習變慢或表現不佳。這時，Adagrad（自適應梯度）就派上用場了。它根據每個參數在訓練過程中的變化量來調整步伐大小，幫助模型適應每個特徵的獨特需求，特別是當這些需求的範圍不一致時。

什麼是Adagrad（自適應梯度）？

Adagrad（自適應梯度）是一種在機器學習中廣泛使用的優化算法，特別是在訓練深度神經網絡時。它根據每個參數過去的梯度動態調整學習率。這種適應性提高了訓練效率，特別是在處理稀疏數據或收斂速度不同的參數時。

通過對不常見的特徵分配較高的學習率，對更常見的特徵分配較低的學習率，Adagrad在處理稀疏數據方面表現出色。此外，它還消除了手動調整學習率的需要，簡化了訓練過程。

Adagrad算法的工作原理

步驟1：初始化參數

Adagrad的第一步是初始化必要的組件，然後開始優化過程。被優化的參數，例如神經網絡中的權重，會被賦予初始值，通常是隨機的或零，具體取決於應用場景。除了參數外，還會設置一個小常數epsilon（ϵ），以避免後續計算中出現除以零的錯誤。最後，選擇初始學習率來控制每次步驟中參數更新的大小。學習率通常根據實驗或對問題的先前了解來選擇。這些初始設置至關重要，因為它們會影響優化器的行為及其收斂到解的能力。

步驟2：計算梯度

在每個時間步t，計算損失函數對每個參數的梯度。這個梯度指示了減少損失所需的變化方向和大小。梯度提供了損失函數的“斜率”，顯示了應如何調整參數以最小化誤差。這個計算會對所有參數重複進行，因為它指導優化器有效地更新參數。這些梯度的準確性和穩定性取決於損失函數和所使用數據的特性。

步驟3：累積平方梯度

Adagrad不直接將梯度應用於更新參數，而是引入了一個累積步驟，將平方梯度隨時間累加。對於每個參數’i’，這個累積的平方梯度計算為：

Gt​=Gt−1​+gt2

這一步確保優化器能夠追蹤每個參數的歷史更新情況。累積梯度較大的參數在後續更新中會被“懲罰”，而累積梯度較小的參數則保持較高的學習率。這種機制使得Adagrad能夠動態調整每個參數的學習率，特別適用於梯度在參數之間差異顯著的情況，例如在稀疏數據場景中。

步驟4：更新參數

一旦計算出累積梯度，就可以使用Adagrad的更新規則來更新參數：

θt+1​=θt​−(α/(√Gt​+ϵ))gt​

分母根據每個參數的累積梯度歷史調整學習率。累積梯度較大的參數因為分母較大而更新較小，這樣可以防止過度更新並促進穩定性。相反，累積梯度較小的參數則更新較大，確保它們在訓練過程中不會被忽略。這種學習率的自適應調整使得Adagrad能夠有效處理不同參數的敏感性。

Adagrad如何調整學習率？

經常更新的參數：

累積的較大梯度會導致學習率變小。

這會減少這些參數的學習率，減慢它們的更新以防止不穩定。

不常更新的參數：

累積的較小梯度會保持學習率較大。

這確保這些參數的更新較大，從而促進有效學習。

為什麼Adagrad的調整很重要？

Adagrad的動態學習率調整使其特別適合某些參數需要頻繁更新而其他參數更新較少的問題。例如，在自然語言處理中，數據中出現頻繁的單詞會有較大的累積梯度，從而降低它們的學習率並穩定它們的更新。相反，稀有單詞則保持較高的學習率，確保它們獲得足夠的更新。然而，平方梯度的累積可能會導致學習率隨時間過度衰減，從而在長時間訓練中減慢收斂。儘管這是一個缺點，Adagrad在需要每個參數學習率適應的場景中仍然是一個強大且直觀的優化算法。

更好理解的實現

1. 匯入必要的庫

“`python
import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
“`

2. 定義梯度下降線性回歸類

“`python
class GradientDescentLinearRegression:
def __init__(self, learning_rate=1, max_iterations=10000, eps=1e-6):
# 初始化超參數
self.learning_rate = learning_rate
self.max_iterations = max_iterations
self.eps = eps
“`

__init__方法通過設置梯度下降優化的關鍵超參數來初始化類：learning_rate控制權重更新的步長；max_iterations是最大迭代次數，以防止無限循環；eps是一個小的閾值，用於當權重變化微不足道時停止優化，這表示收斂。這些參數確保訓練過程既高效又精確，並根據數據集和需求提供靈活性。例如，用戶可以修改這些值以平衡速度和準確性，或者依賴默認設置以滿足一般需求。

3. 定義預測方法

“`python
def predict(self, X):
return np.dot(X, self.w.T)
“`

這個方法通過計算輸入特徵（X）和權重向量（w）的點積來計算預測。這代表了線性回歸的核心功能，其中預測值是輸入特徵的線性組合。

4. 定義成本方法

“`python
def cost(self, X, y):
y_pred = self.predict(X)
loss = (y – y_pred) ** 2
return np.mean(loss)
“`

成本方法計算均方誤差（MSE）損失，這衡量了實際目標值（y）和預測值（y_pred）之間的差異。這個函數通過量化模型的性能來指導優化過程。

5. 定義梯度方法

“`python
def grad(self, X, y):
y_pred = self.predict(X)
d_intercept = -2 * sum(y – y_pred)
d_x = -2 * sum(X[:, 1:] * (y – y_pred).reshape(-1, 1))
g = np.append(np.array(d_intercept), d_x)
return g / X.shape[0]
“`

這個方法計算成本函數相對於模型權重的梯度。梯度指示了應該如何調整權重以最小化成本。它分別計算截距和特徵權重的梯度。

6. 定義Adagrad方法

“`python
def adagrad(self, g):
self.G += g**2
step = self.learning_rate / (np.sqrt(self.G + self.eps)) * g
return step
“`

Adagrad方法實現了AdaGrad優化技術，根據累積的平方梯度（G）動態調整每個權重的學習率。這種方法對於稀疏數據或處理以不同速率更新的權重特別有效。

7. 定義擬合方法

“`python
def fit(self, X, y, method=”adagrad”, verbose=True):
# 初始化權重和AdaGrad緩存（如果需要）
self.w = np.zeros(X.shape[1]) # 初始化權重
if method == “adagrad”:
self.G = np.zeros(X.shape[1]) # 初始化AdaGrad緩存
w_hist = [self.w] # 權重歷史
cost_hist = [self.cost(X, y)] # 成本函數值歷史
for iter in range(self.max_iterations):
g = self.grad(X, y) # 計算梯度
if method == “standard”:
step = self.learning_rate * g # 標準梯度下降步驟
elif method == “adagrad”:
step = self.adagrad(g) # AdaGrad步驟
else:
raise ValueError(“不支持該方法。”)
self.w = self.w – step # 更新權重
w_hist.append(self.w) # 保存權重歷史
J = self.cost(X, y) # 計算成本
cost_hist.append(J) # 保存成本歷史
if verbose:
print(f”迭代: {iter}, 梯度: {g}, 權重: {self.w}, 成本: {J}”)
# 如果權重更新小於閾值則停止
if np.linalg.norm(w_hist[-1] – w_hist[-2]) < self.eps:
break
# 存儲歷史和使用的優化方法
self.iterations = iter + 1
self.w_hist = w_hist
self.cost_hist = cost_hist
self.method = method
return self
“`

擬合方法使用梯度下降訓練線性回歸模型。它初始化權重向量（w），並在使用AdaGrad時累積梯度信息。在每次迭代中，它計算梯度、更新權重並計算當前成本。如果權重變化變得太小（小於eps），則提前停止訓練。詳細輸出選項提供優化過程的詳細日誌。

以下是完整代碼：

“`python
# 匯入必要的庫
import numpy as np
from sklearn.datasets import fetch_california_housing
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler

# 定義自定義的梯度下降線性回歸類
class GradientDescentLinearRegression:
def __init__(self, learning_rate=1, max_iterations=10000, eps=1e-6):
# 初始化超參數
self.learning_rate = learning_rate
self.max_iterations = max_iterations
self.eps = eps

def predict(self, X):
return np.dot(X, self.w.T) # 線性回歸預測：X*w^T

def cost(self, X, y):
y_pred = self.predict(X)
loss = (y – y_pred) ** 2
return np.mean(loss)

def grad(self, X, y):
y_pred = self.predict(X)
d_intercept = -2 * sum(y – y_pred)
d_x = -2 * sum(X[:, 1:] * (y – y_pred).reshape(-1, 1))
g = np.append(np.array(d_intercept), d_x)
return g / X.shape[0]

def adagrad(self, g):
self.G += g**2
step = self.learning_rate / (np.sqrt(self.G + self.eps)) * g
return step

def fit(self, X, y, method=”adagrad”, verbose=True):
# 初始化權重和AdaGrad緩存（如果需要）
self.w = np.zeros(X.shape[1]) # 初始化權重
if method == “adagrad”:
self.G = np.zeros(X.shape[1]) # 初始化AdaGrad緩存
w_hist = [self.w] # 權重歷史
cost_hist = [self.cost(X, y)] # 成本函數值歷史
for iter in range(self.max_iterations):
g = self.grad(X, y) # 計算梯度
if method == “standard”:
step = self.learning_rate * g # 標準梯度下降步驟
elif method == “adagrad”:
step = self.adagrad(g) # AdaGrad步驟
else:
raise ValueError(“不支持該方法。”)
self.w = self.w – step # 更新權重
w_hist.append(self.w) # 保存權重歷史
J = self.cost(X, y) # 計算成本
cost_hist.append(J) # 保存成本歷史
if verbose:
print(f”迭代: {iter}, 梯度: {g}, 權重: {self.w}, 成本: {J}”)
# 如果權重更新小於閾值則停止
if np.linalg.norm(w_hist[-1] – w_hist[-2]) < self.eps:
break
# 存儲歷史和使用的優化方法
self.iterations = iter + 1
self.w_hist = w_hist
self.cost_hist = cost_hist
self.method = method
return self

# 載入加州住房數據集
data = fetch_california_housing()
X, y = data.data, data.target

# 將數據集分割為訓練集和測試集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

# 標準化特徵數據
scaler = StandardScaler()
X_train = scaler.fit_transform(X_train)
X_test = scaler.transform(X_test)

# 使用標準梯度下降訓練和評估模型
model = GradientDescentLinearRegression(learning_rate=0.1, max_iterations=1000, eps=1e-6)
model.fit(X_train, y_train, method=”standard”, verbose=False)
y_pred = model.predict(X_test) # 預測測試數據
mse = np.mean((y_test – y_pred) ** 2) # 計算均方誤差
print(“最終權重（標準）：”, model.w)
print(“均方誤差（標準GD）：”, mse)

# 使用AdaGrad訓練和評估模型
model = GradientDescentLinearRegression(learning_rate=0.1, max_iterations=1000, eps=1e-6)
model.fit(X_train, y_train, method=”adagrad”, verbose=False)
y_pred = model.predict(X_test) # 預測測試數據
mse = np.mean((y_test – y_pred) ** 2) # 計算均方誤差
print(“最終權重（AdaGrad）：”, model.w)
print(“均方誤差（AdaGrad）：”, mse)
“`

Adagrad優化器的應用

以下是Adagrad優化器的應用：

• 自然語言處理（NLP）：Adagrad廣泛用於情感分析、文本分類、語言建模和機器翻譯等任務。其自適應學習率在優化稀疏嵌入方面特別有效，這在NLP任務中很常見。
• 推薦系統：該優化器被應用於個性化推薦，通過動態調整學習率來處理稀疏數據集，這在推薦場景中很常見。
• 時間序列分析：用於預測任務，例如股票價格預測，數據模式可能不均勻，需要自適應學習率調整。
• 圖像識別：雖然不如其他優化器（如Adam）常見，但Adagrad已被用於計算機視覺任務中，有效訓練某些特徵需要較高學習率的模型。
• 語音和音頻處理：類似於NLP，Adagrad可以優化語音識別和音頻分類等任務的模型，特別是在處理稀疏特徵表示時。

Adagrad的局限性

以下是Adagrad的局限性：

• 激進的學習率衰減：Adagrad會在所有迭代中累積平方梯度。這種累積會不斷增長，導致學習率急劇降低。這種激進的衰減可能會導致算法過早停止學習，特別是在訓練的後期階段。
• 在非凸問題上的表現不佳：對於複雜的非凸優化問題，Adagrad的學習率下降可能會妨礙其逃脫鞍點或局部最小值的能力，從而減慢收斂。
• 計算開銷：Adagrad需要維護每個參數的學習率和累積平方梯度。這可能導致內存消耗和計算開銷增加，特別是對於大規模模型。

結論

Adagrad是優化算法的一個變體，對推進機器學習的發展做出了巨大貢獻。它根據每個稀疏數據兼容參數的需求創建自適應學習率，調整步長，動態變化並從中學習，這解釋了為什麼它在自然語言處理、推薦系統和時間序列分析等領域中變得有用。

然而，所有這些優勢都伴隨著巨大的代價：學習率的急劇衰減、在非凸問題上的優化表現不佳以及高計算開銷。這導致了後繼者的出現：AdaDelta和RMSProp，它們避免了Adagrad的弱點，同時保留了一些主要優勢。

儘管存在這些局限性，Adagrad在處理稀疏數據或具有不同敏感性的特徵的問題上直觀且有效，因此它成為自適應優化技術演變的基石。它的簡單性和有效性使其在機器學習領域的學習者和從業者中持續成為基礎。

常見問題