這是必要的 – 驗證數據轉換結果（第二部分）

測試案例、數據和驗證程序對於數據轉換非常重要，這需要了解轉換的要求、情境和特定技術，以確保準確性和完整性。

數據轉換需要複雜的測試，因為它們涉及精密的邏輯、計算以及依賴於即時數據流。因此，需要廣泛的測試案例設計、代表性數據、自動化工具和穩健的驗證程序。

這個部落格系列的第一部分解釋了數據轉換測試的基本概念。本部分討論了與轉換相關的錯誤通常在數據管道中的其他錯誤中排名，以及在計劃數據轉換測試時需要考慮的幾個重要因素（例如，測試範圍、主要目標、特定錯誤的測試）。

以下是第二部分，重點介紹基本和複雜數據轉換的測試想法。

測試基本數據轉換

數據管道中的數據轉換對於數據結構、增強和分析至關重要。前十個功能的測試情境對於維護數據質量和可靠性是必不可少的。

數據類型轉換：確保字段正確轉換為所需的數據類型。

• 將字符串日期轉換為日期時間格式並進行驗證
• 將字符串字段轉換為整數或浮點數
• 將數字字段轉換為其字符串表示

字符串操作：驗證對字符串數據類型執行的操作。

• 確認正確的大小寫或轉換為小寫/大寫
• 驗證去除開頭和結尾的空白
• 測試子字符串提取或多個字段的串接

日期和時間轉換：確保日期時間數據正確轉換。

• 在時區之間轉換時間戳
• 從日期時間字段中提取日、月或年等組件
• 計算兩個日期或時間戳之間的差異

數據聚合：驗證數據集上的摘要操作。

• 計算並驗證特定字段的平均值、總和或計數
• 按類別分組並計算聚合指標
• 確認生成統計度量，如中位數或標準差

數據正規化和標準化：確保數據符合標準格式或範圍。

• 將數字字段正規化到範圍內（例如，0-1）
• 將地址字段標準化為一致的格式
• 將類別變量轉換為標準化編碼（例如，獨熱編碼）

數據過濾：確認根據特定標準排除數據。

• 過濾低於或高於特定閾值的記錄
• 排除缺失或空值的記錄
• 根據字符串模式或日期範圍驗證條件過濾

數據豐富和查找：驗證使用外部數據源增強記錄。

• 通過JOIN操作用來自另一個表的相關數據豐富記錄
• 根據地址數據添加地理位置詳細信息
• 根據用戶ID從參考數據集中獲取並整合用戶詳細信息

處理空值：確保適當處理和替換缺失值。

• 用默認值或平均值替換空值
• 驗證時間序列數據中的缺口向前或向後填充
• 確認刪除或標記缺少必要字段的記錄

數據拆分和合併：驗證數據集的分割或組合。

• 根據比例或條件將數據集拆分為訓練集和測試集
• 根據共同字段合併多個數據集
• 驗證數據集的縱向或橫向分區

錯誤和異常處理：確認和管理數據中的異常。

• 識別並標記或刪除數字字段中的統計異常值
• 驗證轉換錯誤的正確記錄，以便進行故障排除
• 檢查不切實際或不正確的值的替換（例如，負數年齡）

驗證和確認：檢查數據的質量和完整性。

• 驗證不符合架構的記錄是否被標記或更正。
• 確保具有無效引用的記錄被識別和處理。
• 負金額的交易被拒絕或更正。

設計數據轉換功能的測試情境確保準確和一致的處理，為高質量的分析和決策奠定基礎。了解特定功能和潛在問題確保數據管道過程的穩健、準確和可靠。

測試複雜數據轉換

測試複雜的數據轉換是一項至關重要且具有挑戰性的任務，以確保數據處理系統中的數據完整性和可靠性。條件邏輯、多步驟程序和複雜的映射規則需要廣泛的驗證，以確保在各種輸入條件下的精確和一致應用。表1包含了當前流行的一小部分複雜數據轉換示例。

涉及各種數據組合、邊緣情境和複雜規則的全面測試案例需要深入了解每個轉換的要求，並對細節保持細心。

每個類別都呈現獨特的測試挑戰——驗證複雜計算的正確性、確保在層次結構中準確的數據傳播、處理即時流中的性能和準確性，以及考慮對外部來源或服務的依賴。

影響數據轉換質量的因素

數據管道中缺乏數據質量可能導致不準確的分析、錯誤的決策，並降低對數據驅動過程的信任。未經設計、開發或測試的數據轉換可能對數據質量產生重大影響。

數據分析和清理不足

數據分析涉及分析源數據，以了解其結構、內容和關係。對源數據和目標數據的分析可以識別數據類型、格式、範圍、模式、分佈、異常和質量問題。

對數據轉換要求的重要性：

• 準確了解源數據：分析提供了數據實際狀態的見解，防止假設導致錯誤的轉換邏輯。
• 識別數據質量問題：檢測缺失值、重複值、異常值和不一致性，這些都必須在轉換要求中解決。
• 告知轉換邏輯：幫助根據實際數據特徵定義精確的轉換規則、映射和處理特殊情況。

數據清理的重要性：數據清理涉及糾正或刪除不準確、不完整或不相關的數據，以提高數據質量。

數據轉換設計不足

設計不良的轉換可能導致錯誤的數據映射、關鍵信息的丟失和錯誤。如果對源數據和所需輸出缺乏深入了解，轉換可能無法與業務規則或數據模型對齊，導致不一致和不準確。

緩解措施：

• 全面的需求收集：與利益相關者合作，充分了解數據需求。記錄數據源、格式和期望結果。
• 數據清理：糾正和刪除不準確、不完整或不相關的數據，以提高數據質量。數據清理可以標準化數據格式和數值，簡化轉換邏輯並減少錯誤。
• 設計文檔：創建詳細的設計文檔，概述轉換邏輯、映射規則和數據流圖。
• 轉換規則的標準化：建立標準化的轉換規則和指導方針，以確保管道的一致性。
• 同行評審：與數據架構師和工程師實施設計評審，以在開發之前驗證轉換設計。

易出錯的數據轉換開發

即使有良好的設計，不當的實施也可能引入錯誤。編碼錯誤、函數誤用和忽略邊緣情況可能導致數據損壞、截斷或計算錯誤。不遵循編碼標準和最佳實踐會加劇問題，使轉換變得脆弱且易出錯。

緩解措施：

• 採用編碼標準：為數據轉換腳本和程序建立和執行編碼標準。
• 使用可靠的工具和框架：利用經過驗證的數據轉換工具，提供常見轉換任務的內置功能。
• 培訓和技能發展：投資於對開發人員進行數據工程最佳實踐和所使用的特定工具的培訓。
• 代碼審查和配對編程：實施代碼審查流程，鼓勵開發人員之間的合作，以便及早發現錯誤。

數據轉換驗證和確認不充分

測試不足無法在部署之前識別轉換邏輯中的缺陷。如果沒有全面的單元測試、集成測試和系統測試，錯誤可能在管道中未被檢測到而傳播。缺乏模擬生產條件的測試環境也可能導致代碼部署時出現意外問題。

緩解措施：

• 制定全面的測試計劃：創建詳細的測試計劃，包括對單個轉換的單元測試、組件之間數據流的集成測試和整個管道的端到端測試。
• 自動化測試框架：利用工具高效且一致地運行測試，例如Great Expectations或dbt (Data Build Tool)。
• 測試數據管理：使用現實的測試數據，涵蓋各種情境，包括邊緣情況和潛在的數據異常。

缺乏數據轉換過程中的數據質量檢查

通過在整個管道中嵌入數據驗證和質量檢查，組織可以及時檢測和解決潛在問題，例如不正確的數據類型、缺失值、重複值和異常值，這些問題在影響分析之前得到解決。在每個轉換階段進行一致的驗證有助於維護數據完整性，防止質量問題的積累。

緩解措施：

• 數據驗證規則：定義和執行驗證規則，以檢查每個轉換步驟的數據完整性、一致性和完整性。
• 數據質量工具：使用工具自動化數據質量檢查。
• 監控和警報系統：設置實時監控，以便及時檢測和警報數據質量問題。
• 數據分析：定期分析數據，以了解其特徵並識別數據模式中的意外變化。

有效的數據轉換設計、開發和測試對於維護數據管道工作流程中的高數據質量至關重要。通過納入全面的設計實踐、遵循既定的開發標準、進行全面的測試和實施穩健的驗證機制，組織可以顯著提高其數據的可靠性和準確性。

第三部分將討論幾個測試挑戰和緩解措施，包括轉換要求文檔不足以及在測試前、測試中和測試後需要進行數據分析。它將包括50個可能影響數據質量、數據分析商業智慧（BI）和機器學習（ML）訓練的數據轉換開發和測試問題。