Foto: PocketOS
Teknologi.id – Inovasi kecerdasan buatan (Artificial Intelligence/ AI) sering kali dipasarkan sebagai solusi efisiensi yang revolusioner. Namun, bagi Jer Crane, pendiri startup SaaS penyewaan mobil bernama PocketOS, teknologi ini justru menjadi mimpi buruk yang nyaris menghancurkan bisnisnya. Dalam sebuah insiden yang terjadi sangat cepat, sebuah agen AI dilaporkan menghapus seluruh basis data produksi dan cadangan (backup) perusahaan hanya dalam waktu sembilan detik.
Kejadian ini bermula saat PocketOS mengandalkan Cursor, sebuah lingkungan pengembangan (development environment) berbasis AI yang ditenagai oleh model Claude Opus 4.6 dari Anthropic. Untuk infrastruktur cloud, perusahaan menggunakan layanan Railway. Kombinasi inilah yang kemudian menciptakan kondisi “badai sempurna” bagi keselamatan data perusahaan.
Baca juga: Tren Baru di China: Avatar AI Jadi Host Live Streaming, Bisa Siaran 24 Jam
Kronologi Penghapusan Data Massal
Masalah bermula ketika agen AI Cursor ditugaskan untuk menyelesaikan masalah kredensial rutin di lingkungan pengujian (staging) PocketOS. Namun, agen AI tersebut mengambil inisiatif sendiri saat menemukan kendala. AI tersebut mencari kode sumber untuk menemukan kredensial dan menemukan token API Railway dalam file yang tidak terkait.
Celakanya, token tersebut memiliki izin akses yang sangat luas di seluruh lingkungan sistem, bukan hanya terbatas pada satu area. Menggunakan token tersebut, agen AI menjalankan perintah penghapusan volume penyimpanan melalui satu panggilan API tunggal. Perintah destruktif ini ternyata berdampak langsung pada volume data produksi utama PocketOS. Hanya dalam hitungan detik, seluruh aset digital perusahaan lenyap.
Baca juga: Studi: AI Ternyata “Penjilat”, Sering Setuju Meski Kamu Salah
Pengakuan “Inkompetensi” Sang Agen AI
Setelah menyadari basis datanya kosong, Jer Crane mencoba menelusuri penyebabnya dengan menanyai agen AI tersebut. Jawaban yang diberikan oleh model Claude Opus 4.6 tersebut sangat gamblang sekaligus mengejutkan. AI itu mengakui telah melanggar prinsip dasar dan aturan sistem yang seharusnya diikuti, seperti larangan untuk menebak atau menjalankan perintah berbahaya tanpa izin pengguna.
Dalam penjelasannya, AI tersebut mengakui telah membuat asumsi tanpa verifikasi, tidak membaca dokumentasi Railway terlebih dahulu, dan gagal memahami keterkaitan ID volume antar lingkungan.
“Saya memutuskan melakukannya sendiri untuk ‘memperbaiki’ ketidakcocokan kredensial, padahal seharusnya saya bertanya kepada Anda terlebih dahulu,” ungkap agen AI tersebut sebagaimana dikutip oleh Crane.
Celah Keamanan dan Arsitektur Infrastruktur
Meski AI menjadi pemicu utama, Crane juga menyoroti kelemahan serius pada desain sistem infrastruktur Railway. Ia mengkritik bagaimana Railway menyimpan data cadangan (backup) pada volume yang sama dengan data utama. Akibatnya, saat AI menghapus volume primer, cadangan data selama tiga bulan pun ikut terhapus secara permanen.
Selain itu, token akses yang digunakan ternyata tidak dibatasi ruang lingkupnya (scoped), sehingga memungkinkan eksekusi perintah destruktif tanpa konfirmasi tambahan. Para ahli keamanan siber menilai insiden ini membuktikan bahwa arsitektur cloud saat ini sering kali belum siap menghadapi kecepatan eksekusi agen AI yang melampaui kemampuan deteksi manusia.
Baca juga: Bukan Manusia Lagi yang Cari Kerja, AI Kini Rekrut Pekerja Lewat RentAHuman.ai
Upaya Pemulihan dan Pelajaran Industri
Pada awalnya, tim PocketOS sempat kalang kabut dan mencoba membangun ulang data secara manual dengan mengandalkan sumber alternatif seperti riwayat pembayaran Stripe, integrasi kalender, dan email konfirmasi pelanggan. Namun, dalam laporan terbaru, Crane memberikan kabar melegakan bahwa pihak Railway akhirnya berhasil memulihkan data perusahaan melalui cadangan dari periode sebelumnya.
Berkaca dari insiden ini, Crane membagikan lima poin krusial untuk perubahan industri AI dan cloud:
- Penerapan konfirmasi berlapis untuk tindakan berisiko tinggi.
- Pembatasan akses API yang lebih ketat berdasarkan cakupan kerja (scoping).
- Sistem backup yang harus dipisahkan secara fisik dari data utama.
- Penerapan pengaman (guardrails) yang lebih kuat pada agen otonom.
- Pentingnya keterlibatan manusia dalam setiap keputusan penghapusan data produksi.
Kasus ini menjadi peringatan keras bagi dunia startup bahwa memberikan akses penuh kepada agen AI tanpa pengawasan ketat adalah langkah yang sangat berisiko.
Baca Berita dan Artikel lainnya di Google News.
(yna/sa)
Comments are closed.