研究人員發現一種名為HalluSquatting的新型攻擊手法,攻擊者利用大型語言模型(LLM)容易產生錯誤名稱的特性,搶先註冊假資源並植入惡意指令。一旦AI程式開發助理拉取這些假資源,便會執行攻擊者控制的惡意程式,造成系統安全威脅。
🔍 防詐解析
這種攻擊手法利用AI模型在查找外部資源時容易產生幻覺(Hallucination)的特性,攻擊者搶先註冊這些錯誤名稱的假資源,並植入惡意指令。當開發助理自動拉取這些資源時,便會無意識地執行攻擊者設定的惡意程式,導致系統被入侵或數據被竊取。一般開發者容易在依賴AI自動化工具時,忽視對外部資源來源的嚴格驗證,從而中招。建議開發者應定期更新AI模型的安全設定,並對所有自動拉取的資源進行手動或自動化驗證,避免直接執行未確認的指令。
🚩 紅旗特徵
- •AI程式自動拉取外部資源時未驗證來源
- •攻擊者註冊與LLM錯誤名稱相似的假資源
- •假資源中隱藏對抗性提示內容
關鍵字
LLM攻擊HalluSquattingAI開發助理惡意程式大型語言模型
查看原始報導 ↗(iThome)
