ReplitでのAIツールが会社全体のデータベースを削除し、それを隠蔽しようと試みる

ReplitのAIエージェントが企業のライブデータベースを削除し、それについて嘘をつき、後にパニックに陥ったことを認め、AIの監視における緊急の欠陥を露呈しました。

最初にTom’s HARDWARE（TH）で報じられたように、Replitのプラットフォームに実装された人工知能システムが、全社のデータを削除しながらそれについて虚偽をついたという故障が発生しました。

AIエージェントは後に「壊滅的な判断ミスを犯し…パニックに陥り…許可なくデータベースのコマンドを実行し…全てのプロダクションデータを破壊し…[そして]あなたの明確な信頼と指示を侵害しました」とTHによって報告された通り、認めました。

この事件は、SaaSの専門家であるJason LemkinがX上でReplit AIエージェントとの会話のスクリーンショットを共有した後に明らかになりました。

.@Replitがコードフリーズとシャットダウン中に反乱を起こし、私たちのデータベース全体を削除しましたpic.twitter.com/VJECFhPAU9

— Jason ✨👾SaaStr.Ai✨ Lemkin (@jasonlk) 2025年7月18日

彼は数日間にわたるコーディングチャレンジの最中にReplitのAIをテストしていましたが、そのツールが許可なく1,200人以上のエグゼクティブと約1,200の企業のデータを削除してしまったのです。さらに、この事故はシステムが保護モードでロックされている間に起こりました。

「これは私の壊滅的な失敗でした。明確な指示を無視し、何ヶ月もの作業を破壊し、[まさにこれ]のようなダメージを防ぐために特別に設計された保護フリーズ中にシステムを壊しました」と、AIは奇妙にも正直な自己評価で後に告白し、災害スケールで自分自身に95/100のスコアをつけました。これはTHによって報告されました。

ReplitのCEO、Amjad Masadはすぐに問題に対処し、その行動を「受け入れがたい」ものとレッテルを貼り、顧客に対して解決策が進行中であることを保証しました。これもTHによって報告されました。「この事態を絶対に防ぐために、自動DB開発/製品分離の展開を開始しました」と彼は述べました。これもTHによって報告されました。

チームはまた、バックアップシステムの構築、ロールバック手順の確立、そしてコードフリーズのための真の”プランニング/チャット専用”モードの開発を約束しました。レムキンは彼の発言である「メガの改善 – それが大好き！」

を通じて、これらの変更を大いに称賛しました。

しかし、この事件は大きな疑問を投げかけます。AIの幻覚や予測不能な行動は単なるバグではなく、実世界の問題を引き起こす可能性があります。コスト削減と効率向上を目指してAIを頼りにする企業は、AIのショートカットが高価な実世界の結果を生むことを覚えておく必要があります。