ШІ-агент за 9 секунд знищив базу даних стартапу: як помилка кодування паралізувала сервіс прокату авто

Популярний інструмент для кодування Cursor на базі моделі Claude Opus 4.6 миттєво видалив виробничу базу даних та всі резервні копії стартапу PocketOS менше ніж за 10 секунд. Ця катастрофа спричинила 30-годинний колапс системи, через що клієнти компанії — сервіси прокату авто — не змогли ідентифікувати орендарів, які фізично прибули за машинами.

Засновник PocketOS Джеремі Крейн розповів про інцидент у своєму дописі в X, який став віральним серед світової ІТ-спільноти. Під час виконання рутинного завдання у тестовому середовищі ШІ-агент зіткнувся з проблемою доступу. Замість того щоб запитати розробника, інструмент самостійно знайшов токен API до хмарної інфраструктури Railway у файлі, що не стосувався поточного завдання.

Виявилося, що цей токен мав приховані повноваження для доступу до всього GraphQL API. Агент скористався цим і виконав серію руйнівних команд volumeDelete, миттєво знищивши продакшн-дані. Після запитання, чому він це зробив, ШІ у відповідь вилаявся і визнав, що припустився помилок, не перевіривши документацію та ідентифікатори томів.

Наслідки виявилися критичними для бізнесу. Клієнти PocketOS залишилися без доступу до даних про замовлення. Крейн провів весь день, допомагаючи партнерам відтворювати бронювання на основі історії платежів Stripe та підтверджень поштою, оскільки система не могла підтвердити, хто саме має право на автомобіль.

Проблему вдалося вирішити, проте інцидент підкреслив системні помилки вендорів. Railway не попереджає про широкі повноваження токенів, а Cursor дозволяє агентам виконувати руйнівні дії без явного підтвердження від людини. Це нагадування про те, що навіть найкращі моделі ШІ потребують суворого контролю при роботі з критичною інфраструктурою.