如何在模型漂移影響您的業務之前識別和預防模型漂移

儘管人工智慧（AI）引起了很多關注，許多科技公司仍然依賴機器學習來驅動重要的應用程式，從個性化推薦到詐騙檢測。

我親眼見證了未被發現的模型漂移會導致重大損失——錯過詐騙檢測、收入損失，以及不理想的商業結果等等。因此，如果你的公司已經部署或計劃部署機器學習模型到生產環境中，建立穩健的監控系統是非常重要的。

未檢測的模型漂移可能導致重大的財務損失、運營效率低下，甚至損害公司的聲譽。為了減少這些風險，擁有有效的模型監控是重要的，這包括：

追蹤模型性能

監控特徵分佈

檢測單變量和多變量漂移

一個良好實施的監控系統可以幫助及早識別問題，節省大量時間、金錢和資源。

在這篇全面的指南中，我將提供一個框架，幫助你思考和實施有效的模型監控，讓你能夠提前預見潛在問題，確保你的模型在生產環境中的穩定性和可靠性。

特徵漂移和分數漂移有什麼不同？

分數漂移是指模型分數分佈的逐漸變化。如果不加以控制，這可能導致模型性能下降，使模型隨著時間變得不準確。

另一方面，特徵漂移發生在一個或多個特徵的分佈發生變化時。這些特徵值的變化可能影響模型所學到的基本關係，最終導致模型預測不準確。

模擬分數變化

為了模擬現實中的詐騙檢測挑戰，我創建了一個合成數據集，包含五個金融交易特徵。

參考數據集代表原始分佈，而生產數據集則引入變化，以模擬在新帳戶上未經PIN驗證的高價值交易增加，這表明詐騙的增加。

每個特徵有不同的基本分佈：

交易金額：對數正態分佈（右偏，有長尾）

帳戶年齡（月份）：在0到60之間的截斷正態分佈（假設是一家5年的公司）

自上次交易以來的時間：指數分佈

交易次數：泊松分佈

輸入的PIN：二項分佈。

為了近似模型分數，我隨機分配了這些特徵的權重，並應用sigmoid函數將預測限制在0到1之間。這模擬了邏輯回歸詐騙模型生成風險分數的方式。

如下面的圖所示：

漂移的特徵：交易金額、帳戶年齡、交易次數和輸入的PIN都經歷了分佈、規模或關係的變化。

漂移特徵的分佈（作者提供的圖片）

穩定特徵：自上次交易以來的時間保持不變。

漂移的分數：由於漂移的特徵，模型分數的分佈也發生了變化。

這個設置讓我們能夠分析特徵漂移如何影響生產中的模型分數。

使用PSI檢測模型分數漂移

為了監控模型分數，我使用了人口穩定性指數（PSI）來測量模型分數分佈隨時間的變化。

PSI的工作原理是將連續的模型分數分組，並比較參考數據集和生產數據集中每個組的分數比例。它比較比例的差異及其對數比率，以計算一個單一的摘要統計量來量化漂移。

Python實現：



# 定義函數以計算給定兩個數據集的PSI

def calculate_psi(reference, production, bins=10):

  # 將分數離散化為組

  min_val, max_val = 0, 1

  bin_edges = np.linspace(min_val, max_val, bins + 1)



  # 計算每個組中的比例

  ref_counts, _ = np.histogram(reference, bins=bin_edges)

  prod_counts, _ = np.histogram(production, bins=bin_edges)



  ref_proportions = ref_counts / len(reference)

  prod_proportions = prod_counts / len(production)

  

  # 避免除以零

  ref_proportions = np.clip(ref_proportions, 1e-8, 1)

  prod_proportions = np.clip(prod_proportions, 1e-8, 1)



  # 計算每個組的PSI

  psi = np.sum((ref_proportions - prod_proportions) * np.log(ref_proportions / prod_proportions))



  return psi

  

# 計算PSI

psi_value = calculate_psi(ref_data['model_score'], prod_data['model_score'], bins=10)

print(f"PSI值: {psi_value}")

以下是如何解釋PSI值的摘要：

PSI < 0.1：沒有漂移，或非常輕微的漂移（分佈幾乎相同）。

0.1 ≤ PSI < 0.25：有一些漂移。分佈有些不同。

0.25 ≤ PSI < 0.5：中等漂移。參考和生產分佈之間有明顯的變化。

PSI ≥ 0.5：顯著漂移。表明生產中的分佈與參考數據有很大變化。

PSI值0.6374表明我們的參考和生產數據集之間存在顯著的漂移。這與模型分數分佈的直方圖一致，視覺上確認了生產中向更高分數的變化——這表明高風險交易的增加。

檢測特徵漂移

科爾莫哥羅夫-史密爾諾夫（K-S）檢驗用於數值特徵

科爾莫哥羅夫-史密爾諾夫（K-S）檢驗是我檢測數值特徵漂移的首選方法，因為它是非參數的，這意味著它不假設正態分佈。

該檢驗通過測量參考和生產數據集中一個特徵的經驗累積分佈函數（ECDF）之間的最大差異來比較特徵的分佈。結果的K-S統計量範圍從0到1：

0表示兩個分佈之間沒有差異。

接近1的值表示變化更大。

Python實現：



# 創建一個空的數據框

ks_results = pd.DataFrame(columns=['特徵', 'K-S統計量', 'p值', '檢測到漂移'])



# 遍歷所有特徵並執行K-S檢驗

for col in numeric_cols:

    ks_stat, p_value = ks_2samp(ref_data[col], prod_data[col])

    drift_detected = p_value < 0.05

        

        # 將結果存儲在數據框中

    ks_results = pd.concat([

        ks_results,

        pd.DataFrame({

            '特徵': [col],

            'K-S統計量': [ks_stat],

            'p值': [p_value],

            '檢測到漂移': [drift_detected]

        })

    ], ignore_index=True)

以下是我們數據集中四個數值特徵的ECDF圖表：

讓我們以帳戶年齡特徵為例：x軸表示帳戶年齡（0-50個月），y軸顯示參考和生產數據集的ECDF。生產數據集偏向於較新的帳戶，因為它具有更高比例的低帳戶年齡觀察值。

卡方檢驗用於類別特徵

為了檢測類別和布林特徵的變化，我喜歡使用卡方檢驗。

這個檢驗比較參考和生產數據集中類別特徵的頻率分佈，並返回兩個值：

卡方統計量：較高的值表示參考和生產數據集之間的變化更大。

p值：p值低於0.05表明參考和生產數據集之間的差異在統計上是顯著的，表示可能存在特徵漂移。

Python實現：



# 創建具有相應列名的空數據框

chi2_results = pd.DataFrame(columns=['特徵', '卡方統計量', 'p值', '檢測到漂移'])



for col in categorical_cols:

    # 獲取參考和生產數據集的標準化值計數

    ref_counts = ref_data[col].value_counts(normalize=True)

    prod_counts = prod_data[col].value_counts(normalize=True)



    # 確保所有類別在兩者中都有表示

    all_categories = set(ref_counts.index).union(set(prod_counts.index))

    ref_counts = ref_counts.reindex(all_categories, fill_value=0)

    prod_counts = prod_counts.reindex(all_categories, fill_value=0)



    # 創建列聯表

    contingency_table = np.array([ref_counts * len(ref_data), prod_counts * len(prod_data)])



    # 執行卡方檢驗

    chi2_stat, p_value, _, _ = chi2_contingency(contingency_table)

    drift_detected = p_value < 0.05



    # 將結果存儲在chi2_results數據框中

    chi2_results = pd.concat([

        chi2_results,

        pd.DataFrame({

            '特徵': [col],

            '卡方統計量': [chi2_stat],

            'p值': [p_value],

            '檢測到漂移': [drift_detected]

        })

    ], ignore_index=True)

卡方統計量57.31，p值3.72e-14確認了我們的類別特徵“輸入的PIN”發生了重大變化。這一發現與下面的直方圖一致，該直方圖直觀地顯示了變化：

檢測多變量變化

斯皮爾曼相關性檢測成對交互的變化

除了監控單個特徵的變化，追蹤特徵之間的關係或交互的變化（稱為多變量變化）也是很重要的。即使單個特徵的分佈保持穩定，多變量變化也可能表明數據中的重要差異。

默認情況下，Pandas的.corr()函數計算皮爾森相關性，這僅捕捉變量之間的線性關係。然而，特徵之間的關係通常是非線性的，但仍然遵循一致的趨勢。

為了捕捉這一點，我們使用斯皮爾曼相關性來測量特徵之間的單調關係。它捕捉特徵是否以一致的方向一起變化，即使它們的關係不是嚴格線性的。

為了評估特徵關係的變化，我們比較：

參考相關性（ref_corr）：捕捉參考數據集中歷史特徵關係。

生產相關性（prod_corr）：捕捉生產中的新特徵關係。

相關性絕對差異：測量參考和生產數據集之間特徵關係的變化。較高的值表示更顯著的變化。

Python實現：



# 計算相關性矩陣

ref_corr = ref_data.corr(method='spearman')

prod_corr = prod_data.corr(method='spearman')



# 計算相關性差異

corr_diff = abs(ref_corr - prod_corr)

示例：相關性變化

現在，讓我們看看交易金額和帳戶年齡（以月為單位）之間的相關性：

在ref_corr中，相關性為0.00095，表示這兩個特徵之間的關係很弱。

在prod_corr中，相關性為-0.0325，表示弱的負相關。

斯皮爾曼相關性的絕對差異為0.0335，這是一個小但明顯的變化。

相關性的絕對差異表明交易金額和帳戶年齡之間的關係發生了變化。

這兩個特徵之間曾經沒有關係，但生產數據集表明現在有一個弱的負相關，這意味著較新的帳戶有更高的交易金額。這是正確的！

自編碼器用於複雜的高維多變量變化

除了監控成對交互，我們還可以尋找數據中多維的變化。

自編碼器是檢測高維多變量變化的強大工具，當多個特徵共同以不明顯的方式變化時，這可能無法從單個特徵分佈或成對相關性中看出。

自編碼器是一種神經網絡，通過兩個組件學習數據的壓縮表示：

編碼器：將輸入數據壓縮為低維表示。

解碼器：從壓縮表示中重建原始輸入。

為了檢測變化，我們比較重建的輸出和原始輸入，並計算重建損失。

低重建損失→自編碼器成功重建數據，這意味著新觀察值與其所見和學到的相似。

高重建損失→生產數據與學到的模式有顯著偏差，表明可能存在漂移。

與傳統的漂移指標專注於單個特徵或成對關係不同，自編碼器同時捕捉多個變量之間的複雜非線性依賴。

Python實現：



ref_features = ref_data[numeric_cols + categorical_cols]

prod_features = prod_data[numeric_cols + categorical_cols]



# 正規化數據

scaler = StandardScaler()

ref_scaled = scaler.fit_transform(ref_features)

prod_scaled = scaler.transform(prod_features)



# 將參考數據分為訓練和驗證

np.random.shuffle(ref_scaled)

train_size = int(0.8 * len(ref_scaled))

train_data = ref_scaled[:train_size]

val_data = ref_scaled[train_size:]



# 構建自編碼器

input_dim = ref_features.shape[1]

encoding_dim = 3 

# 輸入層

input_layer = Input(shape=(input_dim, ))

# 編碼器

encoded = Dense(8, activation="relu")(input_layer)

encoded = Dense(encoding_dim, activation="relu")(encoded)

# 解碼器

decoded = Dense(8, activation="relu")(encoded)

decoded = Dense(input_dim, activation="linear")(decoded)

# 自編碼器

autoencoder = Model(input_layer, decoded)

autoencoder.compile(optimizer="adam", loss="mse")



# 訓練自編碼器

history = autoencoder.fit(

    train_data, train_data,

    epochs=50,

    batch_size=64,

    shuffle=True,

    validation_data=(val_data, val_data),

    verbose=0

)



# 計算重建誤差

ref_pred = autoencoder.predict(ref_scaled, verbose=0)

prod_pred = autoencoder.predict(prod_scaled, verbose=0)



ref_mse = np.mean(np.power(ref_scaled - ref_pred, 2), axis=1)

prod_mse = np.mean(np.power(prod_scaled - prod_pred, 2), axis=1)