雪梨大學物理學院教授Pulin Gong與博士生Andrew Ly的研究刊登於《Nature Machine Intelligence》,指出神經網路即使使用相同資料、相同訓練程序與完全確定性的運算環境,仍可能因極小的起始參數差異而形成不同解。研究團隊約訓練50萬個神經網路,涵蓋影像辨識與文字處理等多種架構,證實「破碎吸引盆」的分形結構具有跨架構、跨資料集的現象。
在一個大型影像辨識網路中,起始設定即使提高100億倍精度,也未改善可重現性;只要改動一個位元,約48%的訓練便會進入不同的內部組態。最有效率的学习率可換取較佳表現,卻也讓結果更難預測;降低學習率雖能提高重現性,代價卻是模型學得較差。
研究團隊認為,這類不穩定性未必源自資料順序、硬體運算差異或工程瑕疵,而可能是多數神經網路學習過程內生的數學限制。成果提供新的敏感度量測工具,也把可信AI的評價焦點由單次準確度,擴張至能否被穩定複製與稽核。
這項發現不宜解讀為AI業者彼此角力,而是一般科學研究對「可重現性」與「高效能」之間結構性取捨的拆解。過去機器學習常將同一模型反覆執行後的差異,歸因於資料批次順序、平行運算競爭、硬體浮點運算或隨機種子設定。這些工程因素確實重要,卻不能完整解釋:當資料、程式與硬體環境完全固定後,模型仍可能收斂至不同內部解。
研究以「訓練地圖」解釋此現象:每個可能起點都被標記其最終對應的結果,形成吸引盆;不同吸引盆若彼此交錯、任何尺度下都鄰近另一種結果,即構成「破碎吸引盆」的分形結構。其關鍵含義是,提高起始條件的數值精度,未必能線性提升訓練終點的可預測性。這也說明大型語言模型、醫療影像模型與自動駕駛系統即使採相同配方,仍可能產生不同偏差、拒絕風格與安全邊界。
更根本的矛盾在於,研究發現最利於學習的區域,往往也是最易受微小擾動影響的區域。模型團隊若以降低學習率換取穩定,會拉高反覆運算成本,也可能犧牲準確度;若維持高學習率以追求效能,就必須接受模型版本間存在非線性漂移。可信AI因此不是單純消除所有隨機性,而是把模型敏感度、落差幅度與失效邊界納入可量測的風險管理。
戰略貿易流向與供應鏈依賴度
HS 8542資料來源:UN Comtrade 聯合國商品貿易統計庫 · 全球市場規模 $5,800 億美元 / 年
這項研究與人工智慧長期以來「固定配方即可複製」的主流工程假設形成轉折。過去AI競賽主要追求參數規模、訓練算力與基準測試分數,很少把每單位準確度所對應的穩定性與複驗成本納入核心指標。若破碎吸引盆結構獲得更多獨立重現,模型競爭將由「誰的模型最準」轉向「誰的模型最能在指定條件下被可靠重做」。
01 起因觸發:雪梨大學團隊以數學模型與約50萬次神經網路訓練,確認破碎吸引盆分形結構廣泛存在。
02 一階傳導:模型開發、醫療影像、金融授信與自動駕駛團隊被迫重新設計重複訓練、敏感度測試及版本驗證流程。
03 二階擴散:AI採購需求轉向可重現性工具、模型行為監控、資料血緣、第三方驗證與模型保險等新興市場。
04 二階擴散:雲端運算與模型平台可能提供固定硬體、種子控管、批次重現及跨版本差異報告等服務。
05 宏觀終局:高風險AI由「單次準確」轉向「可稽核、可複製、可回滾」,監管制度與責任歸屬將隨之重構。
領域延伸情報推薦 相關延伸研讀
依主題領域自動關聯之高參考價值外電情報