隨著人工智慧(AI)改變我們的世界,數位環境危機也在悄然形成。預計到2030年,數據中心的電力需求將激增160%,可能造成高達1490億美元的社會成本,包括資源枯竭、環境影響和公共健康問題。雖然大多數討論集中在AI所需的能源處理上,但在數據中心中,與AI相關的數據儲存也在快速累積,這是另一個環境威脅。
AI模型需要使用大量數據進行訓練,有時甚至需要數百萬條記錄。輸出的數據量也可能非常龐大。由於缺乏明確的AI數據保留規範,許多組織對於哪些數據是“安全”刪除的缺乏信心。因此,他們採取了“保存所有”的方法,這使他們面臨不斷增長的多餘儲存壓力。這對他們的環境責任和經濟效益都不利。
全球監管機構必須迅速行動來解決這個問題;然而,缺乏明確的法律不應成為組織不採取實際步驟的藉口。
不要讓與AI相關的數據“變黑”
當AI訓練和輸出數據被收集和儲存但從未使用時,它們就會迅速變成黑數據。這就像家裡的閣樓,裡面堆放著被遺忘的東西。正如俗話所說,眼不見為淨。根據一些估計,超過一半的組織數據都是黑數據。
過濾黑數據,刪除不必要的信息,應該成為全球企業的道德責任。隨著數據量每年增加,越來越多的企業採用大型語言模型,現在就是行動的時候。
首先進行數據映射和發現,以了解信息在組織中的流動情況。這將顯示數據和敏感信息的儲存位置、誰可以訪問以及保留多久。
主動管理你的數據,以便控制相關風險,並做出明智的刪除決策。建議自動化這些發現和洞察的過程。
如果你的組織處理的是PB級的數據和數十億個文件,你的洞察方法應該與歸檔、備份和安全解決方案整合,以防止數據丟失並確保根據政策進行保留。
減少數據量並對其進行控制。這樣可以減少儲存的數據量,並確保保留的數據與其收集目的直接相關。分類和合規工具可以提供額外的信心,以便刪除不相關的信息,並作為黑數據項目和全公司合規的基石。持續監控以確保遵守現有的合規標準。
專注於準備,而不是修復
黑數據可能永遠不會完全消失,但採用上述步驟以及壓縮和去重等技術可以防止其堆積。這些步驟應該成為整體數據治理框架的一部分,並融入你的整個數據生態系統。通過追蹤數據的創建過程並應用控制措施,你可以提前預防問題。提前準備總是比事後修復要容易。
在建立這個框架時,確保它清晰簡潔。所有有效的數據管理,無論是AI數據還是其他數據,都始於明確且可執行的內部政策。這些指導方針應該足夠靈活,以適應未來的法規,同時保持對不必要數據囤積的嚴格控制。所有保留決策都應基於風險,並詳細記錄為何保留或刪除某些數據。定期審查確保儲存的數據保持相關性和價值,同時幫助主動識別數據減少或歸檔的機會。
為了支持這一切,組織必須通過全面的員工培訓來建立負責任的數據管理文化。每個人在組織內都有責任維護良好的數據衛生。是的,最終的責任在於合規和基礎設施團隊,但我們每個人都應該思考如何限制黑數據和不必要的AI相關數據儲存。
未來的道路
在平衡技術進步和環境責任的同時,我們對AI數據管理的選擇將產生深遠的影響。這不僅僅是關於更高效的算法或更環保的數據中心,而是更深思熟慮地選擇我們要保留的數據。我們必須確保不會在不必要的數據垃圾場上建立AI的未來。
許多公司在過去幾年中在減碳方面取得了顯著進展。不幸的是,部分進展可能會因AI數據儲存的膨脹而受到影響。通過採用主動的數據管理策略,企業可以在負責任地使用AI方面引領潮流,即使在等待更精確的監管指導時。
本文由 AI 台灣 運用 AI 技術編撰,內容僅供參考,請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團,
隨時掌握最新 AI 動態與實用資訊!