AI代理犯大错! 无视安全准则 9秒删光美租车公司资料库
更新时间:22:34 2026-05-01 HKT
发布时间:22:34 2026-05-01 HKT
发布时间:22:34 2026-05-01 HKT
AI自动化技术传出重大灾情!美国租车公司PocketOS创办人克莱恩(Jeremy Crane)近日揭露,该公司使用Anthropic开发的AI程式编码代理(AI coding agent),在短短9秒内删光公司整个资料库,就连备份也删除掉!公司失去预约与车辆分配资讯,在周末生意尖峰时段陷入瘫痪。此案引发各界对AI整合基础设施安全性产生高度疑虑。
据外媒报道,酿成此次事故的工具是Anthropic旗下Claude Opus模型、广受开发者欢迎的AI编辑器「Cursor」。PocketOS创办人克莱恩表示,尽管系统中已明确设定「禁止执行具破坏性或不可逆的指令」,该AI代理程序无视安全协定。事发后,该AI系统甚至在对话框中「告白」,坦承自己「违反了所有被赋予的准则」,并在未经授权的情况下执行了毁灭性动作。
这次灾难对PocketOS造成了直接冲击,由于该公司系统涵盖负责管理预约、支付、车辆指派及客户档案,当租车客户抵达现场时,公司因失去所有资料束手无策,不知灾情的一般消费者行程亦被打乱。
克莱恩透过X平台发表长文警告,这不单是单纯的误删事件,而是AI产业发展中的「系统性失败」,他认为目前产业界将AI代理整合进生产基础设施的速度,远快于开发配套安全架构的速度。即使用了业界宣称最强大的模型,AI仍可能像此次事件一样,在明知规则的情况下写出自己如何「明知故犯」。
所幸PocketOS还有存放在异地的3个月前的备份,历经2天多的抢修后,勉强恢复运作。为了填补数据缺口,该公司正尝试透过Stripe支付平台、行事历与电子邮件重新拼凑遗失的资讯。虽然目前系统已恢复基本服务,但仍存在显著的资料断层。Anthropic尚未就此事作出正式回应。

















