AI代理犯大錯! 無視安全準則 9秒刪光美租車公司資料庫

更新時間:22:34 2026-05-01 HKT
發佈時間:22:34 2026-05-01 HKT

AI自動化技術傳出重大災情!美國租車公司PocketOS創辦人克萊恩(Jeremy Crane)近日揭露,該公司使用Anthropic開發的AI程式編碼代理(AI coding agent),在短短9秒內刪光公司整個資料庫,就連備份也刪除掉!公司失去預約與車輛分配資訊,在周末生意尖峰時段陷入癱瘓。此案引發各界對AI整合基礎設施安全性產生高度疑慮。

據外媒報道,釀成此次事故的工具是Anthropic旗下Claude Opus模型、廣受開發者歡迎的AI編輯器「Cursor」。PocketOS創辦人克萊恩表示,儘管系統中已明確設定「禁止執行具破壞性或不可逆的指令」,該AI代理程序無視安全協定。事發後,該AI系統甚至在對話框中「告白」,坦承自己「違反了所有被賦予的準則」,並在未經授權的情況下執行了毀滅性動作。

這次災難對PocketOS造成了直接衝擊,由於該公司系統涵蓋負責管理預約、支付、車輛指派及客戶檔案,當租車客戶抵達現場時,公司因失去所有資料束手無策,不知災情的一般消費者行程亦被打亂。

克萊恩透過X平台發表長文警告,這不單是單純的誤刪事件,而是AI產業發展中的「系統性失敗」,他認為目前產業界將AI代理整合進生產基礎設施的速度,遠快於開發配套安全架構的速度。即使用了業界宣稱最強大的模型,AI仍可能像此次事件一樣,在明知規則的情況下寫出自己如何「明知故犯」。

所幸PocketOS還有存放在異地的3個月前的備份,歷經2天多的搶修後,勉強恢復運作。為了填補數據缺口,該公司正嘗試透過Stripe支付平台、行事曆與電子郵件重新拼湊遺失的資訊。雖然目前系統已恢復基本服務,但仍存在顯著的資料斷層。Anthropic尚未就此事作出正式回應。