數據與人工智慧的世界正在以驚人的速度發展,2025年將成為突破與重大挑戰的一年。
從人工智慧模型的幻覺到合成數據在創新中的角色,業界領袖們正面對複雜的問題,這些問題將塑造技術的未來。
我最近與幾位專家討論了這些問題,他們對最新的科技趨勢有很多看法,並分享了他們的想法:
Jorge Silva,建模專家:Jorge是你想要討論人工智慧模型的人——從尖端的訓練技術到機器學習的下一個重大突破。
Josh Griffin,編碼專家:Josh是你需要的編碼專家。他討論最新的編程趨勢、工具和語言,這些都在重塑科技世界。
Harry Keen,合成數據的先驅:Harry正在利用合成數據推動邊界。正如你將閱讀到的,Keen分析了合成數據如何改變人工智慧訓練、增強隱私並加速數據驅動的創新。
無論你是科技專業人士還是對未來的發展感到好奇,請準備深入了解2025年的科技趨勢。
基礎模型經常被批評為產生幻覺。你認為隨著這個問題變得更加突出,它們的感知重要性會下降嗎?
Jorge Silva,進階分析研發部,SAS:大型語言模型(LLMs)和其他基礎模型中的人工智慧幻覺是指生成事實上錯誤和/或虛構的內容,這些內容並不基於現實。雖然這個問題最近在LLMs中變得突出,但即使在更簡單的機器學習和統計模型中也會發生幻覺。當用測試數據詢問超出其訓練數據範圍的問題時(模型的“支持”),任何預測模型都可能產生極其不正確的預測。這被稱為外推。
因此,對於“零幻覺”人工智慧的聲明應該持懷疑態度。在足夠異常的提示下,且沒有嚴格的外部約束(如提示預處理和回應後處理),任何基於神經網絡的基礎模型都會在某種程度上產生幻覺。此外,施加過於嚴格的限制可能會使模型變得乏味,回應變得無趣(例如,過度依賴“我不知道”的回答)。
需要注意的是,幻覺並不總是有害的。在某些應用中,例如藝術圖像生成和藥物發現,幻覺可以被利用來產生全新的突破。在這個意義上,它們是一種創造力的機制,就像人類一樣。想了解更多,請查看這篇《紐約時報》的文章。
幻覺無法完全消除,但通常可以被檢測和減輕。一些基礎模型,如擴散模型,允許通過監控推理過程中最後幾步的變異來檢測幻覺。想深入了解,可以閱讀有關模式插值的技術,這可以去除此類模型中95%的幻覺。
訂閱SAS洞察新聞通訊
微調和架構的進步能否減輕這些擔憂?
Silva:有趣的是,研究表明,僅僅依靠微調並不總是足夠以減少幻覺,在某些情況下,這可能會加劇幻覺。另一方面,結合上下文學習和檢索增強生成(RAG)的戰略性微調可能更有效,儘管有時會顯得僵化。
更有趣且更具前景的是將基於規則的強化學習應用於基礎模型,以強化推理,這在最近的模型如DeepSeek-R1中得到了驚人的成功。簡而言之,可以公平地說,幻覺並未妨礙人工智慧和基礎模型日益增長的重要性——恰恰相反。
有些人認為SAS的表現在很大程度上依賴於個別程序員的編碼技能。我們如何確保性能聲明反映平台的能力,而不是開發者的專業知識?
Josh Griffin,進階分析研發部,SAS:根據我的經驗,我會說在大多數情況下,上述說法表面上是正確的,但有一個重要的“警告”。如果沒有這個警告,我會同意,像創意天才一樣,編寫高效代碼的能力依賴於戰略性地招聘那些對數學、軟體、現代硬體和正在開發的目標分析有敏銳理解的稀有“獨角獸”型人才。事實上,在2018年,這是SAS的共識,隨著客戶報告的性能問題與最佳開源解決方案的比較,我們似乎正在朝這個方向發展。
在我解釋警告之前,我想提供一個現實世界的比喻,這可能有助於解釋為什麼上述說法既正確又不正確,借用量子術語來說,它處於一種疊加狀態。當我十五歲時,我在送報的路上遇到幾次危險,決定用一部分利潤去學習空手道。三年後,我驕傲地獲得了黑帶。
正如人們所說,驕傲的表情往往會導致失敗,幾週後,我在去洗碗工作的路上被襲擊,遭到痛打,最後嘴裡像沙石一樣滿是牙齒的碎片。我對於花了這麼多錢、時間和汗水在一個顯然無法實現的努力上感到非常震驚。
從那時起,我相信自然總是會戰勝培養。我失去了信心,認為任何訓練都可能讓大衛在現實世界中打敗歌利亞。之後,我將武術視為一種舞蹈,雖然我仍然喜愛它,但我不再抱有它實用的幻想。
五年後,在研究生院,為了好玩,我報名參加了巴西柔術(BJJ)。在我的空手道學校,我們練習的都是過於致命的編排動作,無法在彼此身上使用。在BJJ中,大多數動作都是簡單的提交技,並且在友好的環境中幾乎可以全力應用。我們會花第一個小時進行我熟悉的編排“舞蹈”訓練(我的夥伴做A,我做B,他們做C,然後……D將對方制勝,我贏了)。
然而,接下來的幾個小時則是全力以赴的戰鬥,我們真的在互相摔跤。令我震驚的是,第一天我們剛學到的任何東西都無法奏效。要成功施展任何提交技需要大量的練習,當對手積極配合時。
我有了一個頓悟。理論和直覺很快會變成一座紙牌屋,除非每一個基石都在全面的現實情況中經過徹底測試。反過來,日常和快速的實驗最終會指導人們朝著堅實的理論和直覺邁進。真理不是一種真理,除非它能在多個上下文中被遺忘並重新發現。
這種使BJJ在綜合格鬥(MMA)世界中佔主導地位的學習方式可以推廣到所有努力中。事實上,這一概念在許多流行的模式中存在,從約翰·博伊德的觀察、定位、決策和行動(OODA)循環到Shewart的計劃、執行、檢查、行動(PDCA)循環,再到科學方法本身。所有這些都提倡快速交織實驗與提出的理論、假設和直覺。
Griffin:為了回應2018年客戶的擔憂,SAS開創了一種性能開發系統,這非常像BJJ、OODA和PDCA,幫助團隊在有限的時間內系統性地快速改進目標軟體,這種協議的實踐和時間將可靠地超越自然。我相信這個開發系統可以在數學上證明(以“如果且僅如果”的方式)能夠單調且快速地提高所應用的任何分析的性能,直到達到最先進的水平。
此外,這個系統的嚴格應用會產生第二階效應,像BJJ學校一樣在內部培養出獨角獸型的人才。我們不應詳細描述它是如何運作的;然而,我們應用這個系統的結果可以從越來越多的帖子中看到,這些帖子中一些在2018年讓客戶感到困擾的例程,如今卻成為了SAS引以為傲的例程。
這一切的美妙之處在於,SAS有能力以快速行動直接回應客戶的關切,針對他們最關心的產品進行深入的改進,因為SAS(與許多競爭對手不同)擁有並理解其代碼庫,這是經過多年的精心培養和測試的。最近出現的競爭對手沒有時間這樣做,必須依賴第三方軟體,而他們不太可能了解、理解或能夠類似地擴展。
所以,總結一下,回到最初的問題,雖然我們的競爭對手必須“在很大程度上依賴個別程序員的編碼技能”,但我們在SAS現在依賴的是一個經過考驗的系統,這個系統能夠自我再生所需的人才,並且這個系統在SAS的代碼庫中不斷取得巨大的進展。
對於合成數據生成存在懷疑,特別是擔心基於人工數據建立模型可能導致不可靠的結果。是否有情況下合成數據仍然可以提供顯著價值?
Harry Keen,產品推廣專家,SAS:合成數據(當用於試圖以真正保護隱私的方式精確複製數據集時)與真實數據相比,將包含略微不同的統計特性。因此,當用於訓練模型時,該模型的行為將與針對真實數據訓練的模型略有不同。
這是一個無法避免的事實。如果你想要隱私,就需要引入這種微小的統計差異。統計差異的程度可以通過差異隱私進行控制和調整,並將取決於真實數據集的大小/特徵。然而,總會存在一個小的差異。
這樣仍然有什麼價值?
Keen:數據領導者試圖解決的巨大問題是合成數據的隱私好處在於組織內的“數據獲取時間”。他們必須在等待幾個月以獲得真實數據的批准和數據的提取與清理,或是給數據科學家提供隨需訪問安全合成版本之間做出艱難的取捨,這些合成版本可能與真實數據不完全匹配,但絕對足夠接近以構建、測試、學習和迭代建模和分析方法。當組織試圖與外部第三方合作時,這個問題會增加十倍,除非有合理的數據隱私措施,否則有時會完全被阻止。
我們在Hazy的工作表明,我們的客戶可以在不接觸真實數據的情況下獲得可行的見解並有效地與第三方合作;然而,憑藉基於合成數據的證據建立的堅實商業案例,我們發現數據領導者可以加速獲取真實數據,以便在必要時驗證他們的結果。
當分析領導者陷入真實數據訪問的困境時,他們還有幾個其他選擇。他們可以降低項目的優先級,等待真實數據,或考慮其他數據隱私技術,如數據遮蔽、匿名化、同態加密、基於查詢的差異隱私、安全區域等。合成數據在這些選擇中表現優於所有,因為它更快且產生更具統計準確性的數據。它不需要最終用戶或組織改變他們的分析工作流程。用戶可以毫無限制地獲取合成數據,並將其作為真實數據的替代品使用。
合成數據技術還提供了調整和細化合成輸出中各類別比例的機會。這使得用戶能夠放大異常信號並平衡不平衡的數據集。這些增強的合成數據集可以用來訓練更能檢測這些異常的模型,因為它們在訓練數據中看到了更多的例子。它們更公平,因為現實世界的數據收集和標記限制並未損害其訓練數據。
總之,合成數據並不適用於每一種用例。可能會有一些情況下只有實際數據才能滿足需求。然而,它在組織的工具箱中是有價值的,可以加快數據訪問並構建更強大的模型。
合成數據的隱私和數據增強能力允許按需數據訪問,促進內部和外部合作,加速可行見解的時間,並解鎖在合成數據輸出中操控信號的能力,這意味著用戶可以構建更強大的模型,減少偏見。
如果你喜歡這個故事,請閱讀洞察文章《什麼是合成數據?以及你如何利用它來推動人工智慧的突破?》
本文由 AI 台灣 運用 AI 技術編撰,內容僅供參考,請自行核實相關資訊。
歡迎加入我們的 AI TAIWAN 台灣人工智慧中心 FB 社團,
隨時掌握最新 AI 動態與實用資訊!