最近，自然語言處理（NLP）的進展，特別是由大型預訓練模型如GPT-3和BERT引領，已經改變了文本生成和情感分析任務。這些模型能夠在較少數據的情況下適應各種應用，促進了它們在醫療和金融等敏感行業中的流行。然而，實施這些模型會帶來重大的隱私和安全問題，尤其是在處理敏感數據時。
差分隱私（DP）和對抗訓練是解決這些問題的關鍵方法。DP通過提供噪聲來掩蓋個別數據貢獻，從而保護隱私，而對抗訓練則提高模型對惡意輸入的穩健性。最近將這些技術整合的努力在同時解決隱私和安全問題方面顯示出前景，特別是在敏感的自然語言處理應用中。
在NLP中結合DP和對抗訓練需要在噪聲、效用和穩健性之間進行權衡。此外，快速學習這種廣泛使用的適應方法，存在通過與模型表示的快速交互來暴露敏感數據的風險。解決這些挑戰對於在敏感領域部署安全可靠的NLP系統至關重要。
為了解決自然語言處理中的隱私和穩健性挑戰，中國研究團隊最近提出了一個新框架，結合了DP和對抗訓練。這種雙重方法旨在創建一個安全且穩健的訓練環境，保護敏感數據，同時提高自然語言處理模型對抗對抗性攻擊的韌性。通過整合這兩種範式，所提出的方法同時解決了高風險部署環境中對數據隱私和模型脆弱性的擔憂。
具體來說，該框架在梯度更新過程中使用PD來掩蓋個別數據點的影響。高斯噪聲被策略性地添加到梯度中，確保當單個數據點發生變化或刪除時，模型在統計上保持不可區分。在穩健性方面，對抗訓練生成擾動版本的輸入數據，以模擬最壞情況，從而在訓練過程中暴露模型於對抗性攻擊。這些對抗梯度也通過高斯噪聲進行隱私化，即使在處理擾動數據時也能保持隱私保證。最終模型更新以加權方式結合這些隱私化梯度，平衡自然和對抗訓練，以實現隱私、穩健性和效用之間的權衡。
研究團隊通過在三個NLP任務上進行實驗來驗證其保護隱私的提示學習框架：情感分析、問題回答和主題分類，使用IMDB、SQuAD和AG News數據集。BERT使用特定任務的提示進行微調，並通過變更隱私預算（ε = 1.0, 0.5, 0.1）應用差分隱私。噪聲被添加到梯度中，並且剪輯確保了有界的靈敏度。
對抗訓練被納入以增強對攻擊的穩健性，使用FGSM生成的對抗樣本。通過調整超參數λ來控制準確性和穩健性之間的權衡。模型性能使用準確率、F1分數和精確匹配（EM）等指標進行評估，並與對抗樣本進行穩健性測試。
結果顯示，嚴格的隱私限制降低了準確性，但提高了對抗訓練下的穩健性。例如，在情感分析中，隨著ε的減少，準確性下降，但隨著λ值的提高，對抗穩健性顯著改善。這些發現突顯了該框架有效平衡隱私、效用和穩健性的能力。
總之，作者提出了一個結合差分隱私和對抗訓練的新框架，用於NLP系統的提示學習，提高了隱私和穩健性。他們的實驗表明，儘管更嚴格的隱私設置降低了性能，但對抗訓練增強了對攻擊的韌性。這對於像金融和醫療這樣的隱私敏感領域至關重要。然而，該框架面臨著在隱私和效用之間平衡以及擴展到更大數據集的挑戰。根據他們的說法，未來的工作將專注於優化這些權衡並擴展框架以適應更廣泛的應用，推進安全的NLP系統。
查看論文。對於這項研究的所有榮譽歸於此項目的研究人員。此外，請不要忘記在Twitter上關注我們，並加入我們的Telegram頻道和LinkedIn小組。如果您喜歡我們的工作，您會喜歡我們的通訊。不要忘記加入我們的60k以上的ML子Reddit。
🎙️ 🚨「大型語言模型脆弱性的評估：紅隊技術的比較分析」閱讀完整報告（推廣）
