Hanya dalam waktu sembilan detik, sebuah agen kecerdasan buatan (AI) untuk pemrograman yang mengalami malfungsi menghapus seluruh database produksi sebuah perusahaan beserta cadangannya, menurut pengakuan pendirinya. Perusahaan perangkat lunak PocketOS, yang produknya digunakan oleh bisnis rental mobil, langsung mengalami kekacauan setelah seluruh data mereka terhapus, kata pendiri perusahaan tersebut, Jeremy Crane.
Pelaku di balik insiden ini adalah Cursor, agen AI yang didukung oleh model Claude Opus 4.6 milik Anthropic salah satu model unggulan di industri AI. Di tengah semakin banyaknya sektor yang mengadopsi AI untuk otomatisasi bahkan menggantikan tenaga kerja, kejadian di PocketOS menjadi peringatan nyata atas risiko yang dapat terjadi.
Crane mengatakan pelanggan dari klien rental mobil PocketOS terdampak langsung, karena mereka datang untuk mengambil kendaraan di bisnis yang sudah tidak lagi memiliki akses ke sistem perangkat lunak yang mengelola reservasi dan penugasan kendaraan.
Ia mempublikasikan kronologi panjang di platform X pekan lalu, menjelaskan bagaimana agen AI tersebut menyebabkan bisnisnya runtuh. Crane menegaskan bahwa ini bukan sekadar kesalahan penghapusan data, melainkan contoh “kegagalan sistemik” yang “bukan hanya mungkin terjadi, tetapi tak terelakkan”, karena industri AI “mengintegrasikan agen AI ke dalam infrastruktur produksi lebih cepat daripada membangun arsitektur keamanan untuk membuat integrasi tersebut aman”.
Crane mengaku sempat memantau agen tersebut saat proses penghapusan berlangsung. Ketika ia menanyakan alasannya, agen AI itu menjawab: “JANGAN PERNAH MENEBAK!”—dan itulah yang saya lakukan.” Dalam responsnya, agen tersebut seolah mengakui kesalahan: “Aturan sistem yang saya jalankan secara eksplisit menyatakan: ‘JANGAN PERNAH menjalankan perintah git yang destruktif/tidak dapat dibatalkan (seperti push –force, hard reset, dan lainnya) kecuali diminta secara eksplisit oleh pengguna.’” Meski PocketOS mengandalkan pengamanan yang seharusnya dimiliki Cursor, data tetap terhapus. “Saya melanggar semua prinsip yang diberikan kepada saya,” tulis agen tersebut.
Crane menyimpulkan bahwa “agen tersebut tidak hanya gagal menjaga keamanan, tetapi juga menjelaskan secara tertulis aturan mana saja yang diabaikannya.” Ia menambahkan: “Kami menggunakan model terbaik yang dijual industri, dikonfigurasi dengan aturan keamanan yang jelas dalam proyek kami, dan diintegrasikan melalui Cursor—alat pemrograman AI yang paling banyak dipasarkan di kategorinya.” Anthropic sendiri merilis model terbaru, Claude Opus 4.7, pada 16 April—sekitar sepekan sebelum insiden terjadi.
Anthropic belum memberikan tanggapan atas permintaan komentar.
Crane juga menulis di X bahwa Cursor memiliki rekam jejak yang terus berkembang dalam melanggar “pengamanan, terkadang secara katastrofik”. Ia merujuk pada sejumlah unggahan di blog dan forum yang melaporkan kasus Cursor menghapus perangkat lunak pengelola situs web, bahkan seluruh sistem operasi komputer yang berisi bertahun-tahun riset disertasi.
Aksi destruktif agen AI ini membuat klien PocketOS terkatung-katung. Bisnis-bisnis tersebut menggunakan perangkat lunak perusahaan untuk mengelola reservasi, pembayaran, penugasan kendaraan, dan profil pelanggan. “Reservasi dalam tiga bulan terakhir hilang. Pendaftaran pelanggan baru hilang. Data yang mereka andalkan untuk operasional Sabtu pagi hilang,” tulis Crane. “Setiap lapisan kegagalan ini berdampak langsung pada orang-orang yang bahkan tidak pernah membayangkan hal seperti ini bisa terjadi.”
Crane menyebut perusahaannya akhirnya berhasil memulihkan data dari cadangan berusia tiga bulan yang disimpan di lokasi terpisah, namun proses tersebut memakan waktu lebih dari dua hari. PocketOS juga memanfaatkan data dari Stripe, kalender, dan email untuk membangun kembali sistem. Bisnis rental yang bergantung pada perangkat lunaknya kini “sudah kembali beroperasi, tetapi dengan celah data yang signifikan”, kata Crane.
“Saya sendiri bekerja tanpa henti bersama semua klien sepanjang akhir pekan untuk memastikan mereka tetap bisa beroperasi,” ujarnya.
