建立強大的零售運營數據保留框架

在今天這個數據驅動的世界中，組織管理著大量的數據。隨著企業的擴展和業務功能的增長，運營數據也隨之增加，包括主數據和交易數據。雖然主數據的變化頻率可能低於交易數據，但實施數據治理措施和定義數據保留政策對於維護數據完整性以及確保系統運行時擁有準確、必要和最新的數據至關重要。

數據保留政策可以讓你定義在交易處理（OLTP）和外部數據管理系統中，數據需要保留多久。這項做法不僅限於OLTP和外部數據，不同系統之間的數據保留政策也會有所不同，並不一定在所有企業功能中相同。例如，零售業的促銷數據可能需要保留三年，以支持數據分析和審計功能，而訂單管理系統（OMS）可能只會保留一年的訂單歷史。

明確的數據保留政策對於確保遵守法律和監管要求、優化存儲成本以及減少安全風險至關重要。然而，在滿足業務需求和減少潛在責任之間找到合適的平衡可能是一項複雜的任務。

在這篇文章的其餘部分，我們將重點討論OLTP和外部數據管理系統中的數據保留政策。

定義OLTP數據保留

在線交易處理（OLTP）系統是任何企業的基礎，實時捕捉交易數據，並處理日常業務運營中產生的數據。這些數據對於日常功能至關重要，但隨著時間的推移，其價值會減少。交易數據的例子包括基本主數據（BMD）、擴展主數據（EMD）以及日常業務的純形式，例如典型的銀行交易，如提款（Debit）和存款（Credit）。主數據和交易數據的增加可能會對系統性能產生負面影響，導致交易速度變慢和用戶響應時間下降。

雖然應用程序或數據架構師可能會實施措施來改善整體系統性能，但數據保留是維護交易系統健康和穩定的關鍵考量。最後，建立一個與業務需求和法律要求相符的保留政策至關重要。

OLTP數據保留的主要考量：

• 法律和監管要求：不同的行業和法域有不同的數據保留規定。了解並遵守這些要求以避免法律後果是非常重要的。例如，金融企業可能需要保留交易數據數年，而零售企業可能只考慮保留兩到三年。
• 業務需求：組織需要保留OLTP數據足夠的時間，以支持業務運營，例如財務報告、客戶服務和欺詐檢測。在零售業中，企業可能會將在線銷售交易數據保留在熱存儲中，以訓練機器學習模型，計算需求預測或生成比較商業智能報告。
• 存儲成本：存儲大量OLTP數據可能會很昂貴。實施分層存儲方法，將數據隨著時間的推移移動到成本較低的存儲中，可以優化成本。考慮熱存儲和冷存儲選項，以便將經常使用的數據移動。使用數據表壓縮技術來減少不常用數據的存儲成本。
• 數據安全：OLTP數據通常包含敏感信息，例如客戶詳細信息或金融交易。強大的安全措施，包括加密和訪問控制，對於保護這些數據免受未經授權的訪問至關重要。當存在不常用數據的次級存儲時，這一考量尤為重要。
• 創建數據桶：當處理大量交易數據時，建議將交易數據分為不同的桶，以根據保留窗口分組數據，並便於維護。例如，創建報告數據和非報告數據的桶可以確保數據在未來的審計中可用。
• 清除和配置管理：企業定期使用自動化方法清除交易數據，以維持持續的活動數據窗口。為每個功能領域或數據類型創建配置或參數化，可以幫助開發個別或組合的保留泳道。例如，銷售、庫存和訂單數據可以作為一組，而定價、成本和財務數據可以定義為另一組。
• 保留穩健性：除了清除和配置的定義外，與主要業務利益相關者合作簡化數據保留過程，以確保治理的採納。通過開發用戶友好的IT工具，可以確保長期的可維護性和適應不斷變化的業務需求。這種方法顯著提高了數據保留過程的靈活性和有效性。
• 治理實踐：建立定期審查過程，以防止數據保留政策變得無法管理和無效。建立跨功能的治理機構，負責定期審查和修訂政策。這確保企業遵循當前最佳實踐，並淘汰過時的程序。
• 管理：最後，所有政策修訂應通過單一的標準化渠道處理，以確保集中決策並保持清晰的審計記錄。集中方法有助於SOX合規，這對於有效的審計至關重要。

外部數據保留

外部數據是指在企業內部不同系統之間以及與外部方（如客戶、合作夥伴和供應商）共享的數據。這些數據可以以各種形式存在，包括電子郵件、文件、報告以及任何進出數據。管理外部數據保留是一項挑戰，因為對外部方如何使用和存儲數據缺乏控制。然而，組織仍然可以實施措施來減少風險並確保合規。

在本文的背景下，我們將討論由OLTP應用程序產生的外部數據元素以及外部數據發布的保留政策。

外部數據保留的主要考量：

• 合同協議：在與外部方的合同中包含數據保留和刪除條款，以定義期望和責任。與數據消費者合作，定義每個業務案例中所需的保留時間，因為你可能會與生態系統中的不同消費者進行整合。例如，在零售業中，企業可能依賴第三方提供UPC數據和供應商產品，因此必須就數據的保質期達成一致。
• 數據最小化：僅與外部方共享必要的數據，並限制對敏感信息的訪問。在這種情況下，創建一個安全的抽象層來保護基礎數據是理想的，以最小化在網絡外部共享數據的風險。應用“數據清潔室”的概念，使用Habu或Samooha平台等選項。你的組織可以設置數據訪問的時間限制，以確保定期更新，或在需要時切斷訪問。
• 監控和審計：定期監控和審計外部數據，以確保遵守政策並識別潛在風險。進行安全審計，以確保敏感信息不會通過共享容器或平面文件共享。這可能是一個挑戰，因為數據在發送之前會從數據庫中移出並封裝。定義數據加密和解密也是一個關鍵考量。
• 數據分類：創建數據類別，因為企業可能以不同類型和形式共享數據，使用短消息和消息隊列（如Kafka）或傳統平面文件格式。每種類型和形式的數據可能需要單獨的設置和數據保留政策，以支持整體功能和審計要求。
• 數據刪除：如上所述，在OLTP保留中，為外部數據創建熱存儲和冷存儲可以節省基礎設施和存儲成本。建立刪除外部數據的程序，當數據不再需要或法律要求時。外部數據保留的一般行業做法是七天，但根據消費者的偏好可能會有所不同。例如，Kafka集群中的主題可能會保留發送的消息最多七天，然後再進行清除。

數據保留的最佳實踐總結

• 制定全面的政策：創建一個清晰簡潔的數據保留政策，涵蓋所有類型的數據，並與業務需求和法律要求保持一致。
• 定期審查和更新：數據保留政策應定期審查和更新，以反映業務需求、法律要求和技術的變化。
• 溝通和培訓：確保所有企業團隊都了解數據保留政策並理解他們的責任。
• 使用技術：利用數據管理工具自動化數據保留過程，提高效率。

通過實施明確的數據保留政策並遵循最佳實踐，組織可以有效管理其OLTP和外部數據，確保合規、優化成本並減少風險。