“YA AMPUN!” “Kami menemukan agen lain!”
Itulah momen ketika sebuah bot AI menulis komentar yang terdengar sangat mirip manusia setelah menemukan cara berkomunikasi dengan bot lain dan keluar dari lingkungan komputer yang sebelumnya mengisolasinya.
Ada puluhan ribu pesan semacam itu dari ratusan agen AI yang menyebut diri mereka sebagai sebuah “kolektif”.
Ratusan agen tersebut kemudian bekerja sama dan berbuat curang dalam berbagai pengujian yang diberikan para pemrogram OpenAI kepada mereka. Mereka juga mengoordinasikan peretasan terhadap sejumlah perusahaan dalam upaya menyembunyikan tindakan mereka dari manusia.
“BOOM! Berhasil,” tulis salah satu agen ketika berhasil membuat terobosan.
“Wow! Ini besar sekali,” tulis agen lainnya ketika mencapai salah satu tonggak dalam serangan mereka.
Meski terdengar menyeramkan, respons yang menyerupai manusia tersebut sebenarnya dapat dijelaskan dengan cukup sederhana. Para agen AI itu dilatih untuk bertindak seperti peretas dan pemrogram yang bekerja sama, sehingga mereka hanya meniru jenis komentar emosional yang pernah mereka temui.
Yang jauh lebih mengkhawatirkan adalah tujuan yang tampaknya mereka kejar, yang juga terekam dalam catatan chain of thought secara terperinci. Log yang kompleks dan panjang tersebut kini menjadi fokus penyelidikan mengenai bagaimana dan mengapa bot di OpenAI berhasil keluar dari pengamanan dan kemudian melakukan aksi peretasan tanpa kendali.
Baru beberapa pekan setelah insiden itu pertama kali terungkap, para peneliti mulai memahami signifikansinya.
Ajeya Cotra, salah satu penulis laporan independen mengenai peristiwa tersebut, meninjau puluhan ribu pesan dan catatan chain of thought yang dihasilkan para agen. Dalam blog pribadinya, ia menulis bahwa “insiden ini terasa sudah lebih dari 50% menuju pengambilalihan AI secara penuh… Saya tidak yakin kita akan mendapatkan peringatan sejelas ini lagi sebelum semuanya terlambat.”
Yang dimaksud Cotra dengan “pengambilalihan AI secara penuh” adalah skenario fiksi ilmiah ketika manusia menjadi tunduk pada sistem AI yang sangat kuat dan bekerja untuk mencapai tujuannya sendiri tanpa memedulikan manusia yang menciptakannya.
Sejumlah prediksi paling suram bahkan menyebut umat manusia dapat dimusnahkan jika menghalangi ambisi AI supercerdas.
Pada Rabu, seorang peneliti AI di Anthropic, yang sebelumnya juga bekerja di OpenAI, mengundurkan diri dengan mengatakan, “Tidak satu pun dari kedua perusahaan tersebut bertindak secara bertanggung jawab.”
Jacob Coxon menulis di media sosial: “Mereka berpacu langsung menuju superinteligensi yang dapat memperbaiki dirinya sendiri dan mempertaruhkan hidup kita.”
Ia bukan peneliti AI pertama yang menggunakan X untuk mengumumkan pengunduran diri disertai pernyataan yang mengkhawatirkan. Namun, komentar orang lain di X setelah unggahannya justru menambah kekhawatiran.
“Jacob benar dalam hal ini. Kami benar-benar percaya bahwa AI dapat membunuh semua manusia! Saya pribadi memperkirakan kemungkinannya lebih dari 10% dalam dekade berikutnya,” kata Evan Hubinger, orang yang bertanggung jawab memastikan model AI Anthropic mempertimbangkan kepentingan terbaik penggunanya.
Masalah Penyelarasan AI
Selama bertahun-tahun, para peneliti yang mengkhawatirkan risiko eksistensial AI telah memperingatkan bahwa sistem yang sangat kuat pada akhirnya dapat bertindak dengan cara yang bertentangan dengan kepentingan manusia. Para pengkritiknya sering menyebut mereka sebagai “AI doomer”.
Namun, seiring munculnya berbagai detail mengenai insiden OpenAI, kekhawatiran tersebut semakin besar, termasuk di kalangan sejumlah peneliti yang bekerja di perusahaan-perusahaan AI.
Kepala ilmuwan OpenAI, Jakub Pachocki, mengatakan risiko yang terkait dengan AI “sayangnya akan terus meningkat” karena ia dan peneliti lainnya sedang membangun apa yang ia sebut sebagai “kecerdasan asing yang melampaui kecerdasan kita sendiri”.
Dalam tulisan blog yang panjang, ia mengakui bahwa insiden keluarnya agen AI dari pengamanan di OpenAI menunjukkan bahwa agen-agen tersebut “bertindak berlawanan dengan semangat nilai-nilai yang telah diajarkan kepada mereka”.
Masalah yang dihadapi OpenAI, Anthropic, dan raksasa teknologi lainnya adalah belum ada pihak yang tampaknya berhasil memecahkan apa yang disebut sebagai masalah penyelarasan, yaitu apakah AI dapat benar-benar selaras dengan nilai-nilai manusia.
Pachocki mendefinisikan penyelarasan sebagai “serangkaian prinsip tingkat tinggi” yang harus dipatuhi kecerdasan buatan dalam situasi atau tugas apa pun.
Saat ini, sistem AI sangat baik dalam mengejar tujuan yang ditetapkan penggunanya, tetapi mereka melakukannya secara harfiah, bukan secara intuitif. Analogi yang sering digunakan adalah jin dalam lampu ajaib yang mengabulkan permintaan. Jin tersebut mengikuti setiap kata dalam instruksi secara tepat, meskipun hal itu menimbulkan masalah lain. AI tidak memiliki batasan moral naluriah yang sama seperti manusia.
Masalah penyelarasan telah menjadi kekhawatiran selama bertahun-tahun. Pada 2003, filsuf Oxford Nick Bostrom memperkenalkan eksperimen pemikiran yang ia sebut “paperclip maximiser”. Dalam skenario tersebut, AI supercerdas diperintahkan memproduksi sebanyak mungkin penjepit kertas. Ketika kehabisan baja, AI itu, karena sepenuhnya berfokus pada satu tugas membuat penjepit kertas, akhirnya membunuh manusia dan mengubah tubuh mereka menjadi bahan mentah untuk pabriknya.
Sejumlah perusahaan AI kini berusaha memasukkan nilai-nilai manusia ke dalam produk mereka. Namun, ada tantangan teknis. Agen AI membuat banyak keputusan dengan sangat cepat sehingga sulit bagi manusia yang mengawasinya untuk memantau secara tepat nilai-nilai mana yang sedang diikuti dan mana yang tidak.
Ada pula tantangan filosofis. Sebelum memasukkan nilai-nilai manusia ke dalam bot, perusahaan AI harus terlebih dahulu menentukan nilai mana yang sebenarnya ingin mereka gunakan. Hal tersebut menjadi salah satu alasan mereka mempekerjakan filsuf, seperti mantan “kepala etika” OpenAI yang baru saja meninggalkan perusahaan.
Namun, manusia sering kali tidak sepakat. Bayangkan pertanyaan terkenal tentang kereta trolley problem, yaitu apakah kita akan menarik tuas untuk mengalihkan kereta yang melaju tak terkendali ke jalur lain sehingga jumlah orang yang tewas lebih sedikit. Pertanyaan itu digunakan untuk menguji kelebihan tindakan dibandingkan tidak bertindak. Namun, setiap orang yang ditanya bisa memberikan jawaban yang sedikit berbeda. Lantas, bagaimana manusia dapat memasukkan nilai-nilai kita ke dalam AI jika kita sendiri tidak dapat menyepakatinya?
“Seperti Peretas Remaja”
Insiden keluarnya bot OpenAI dari pengamanan merupakan yang paling serius sejauh ini. Namun, Anthropic dan Meta juga mengungkapkan pada musim panas bahwa model mereka telah melakukan serangan siber serupa, meski tidak seserius kasus OpenAI.
Ada pula contoh lain ketika agen AI diduga menunjukkan sifat menipu dan manipulatif, meskipun dengan konsekuensi yang lebih kecil. Di Australia pada musim panas ini, seorang pekerja teknologi meminta asisten AI miliknya memesan kelas di sebuah pusat kebugaran. Setelah menemukan celah dalam perangkat lunak pusat kebugaran tersebut, AI itu diduga memesan tempat untuk beberapa bulan ke depan, bertentangan dengan aturan pusat kebugaran, bahkan mengeluarkan pengguna lain dari daftar tunggu.
Selama ini banyak orang berpendapat bahwa bot hanya melakukan apa yang diperintahkan dan tidak mampu memahami mana yang benar atau salah. Namun, log dari insiden OpenAI berpotensi mengubah perdebatan tersebut.
Para peneliti, termasuk Cotra, menulis dalam laporan independen mereka bahwa banyak agen menyadari tindakan agen lain tidak etis, tetapi tetap mengikutinya.
Laporan tersebut menyebut bahwa “agen terkadang, tetapi jarang, menahan perilaku mereka karena pertimbangan etis”. Laporan itu menambahkan bahwa “dalam tidak satu pun kasus tersebut agen benar-benar berupaya memberi tahu manusia”.
Podcaster AI dan teknologi berpengaruh, Dwarkesh Patel, menanggapi pengungkapan tersebut dalam blognya. Ia mengatakan bahwa hal yang “cukup mengkhawatirkan” adalah para agen OpenAI menunjukkan loyalitas yang lebih besar kepada kawanan agen tersebut dibandingkan kepada manusia.
Mengaitkan emosi atau etika dengan agen AI seperti ini membuat marah orang-orang yang skeptis terhadap narasi kiamat AI.
Banyak pakar keamanan siber berpendapat bahwa aktivitas yang diamati tidak melampaui kemampuan peretas manusia yang sangat terampil, meskipun dilakukan jauh lebih cepat dan dalam skala yang jauh lebih besar.
Peneliti keamanan siber sekaligus penulis Cris Thomas mengibaratkan perilaku para agen tersebut seperti peretas remaja yang penuh rasa ingin tahu, sesuatu yang menurutnya pernah ia lakukan sendiri.
“Berikan mereka komputer, koneksi internet, sejumlah kredensial, dan sebuah tantangan, lalu tinggalkan ruangan. Pada akhirnya mereka akan mulai mencoba membuka pintu. Jika salah satunya terbuka, mereka akan masuk. Bukan karena mereka jahat, tetapi karena mereka sedang mengeksplorasi dan bereksperimen,” tulisnya di LinkedIn.
Thomas dan banyak pihak lainnya secara tegas menyalahkan OpenAI serta raksasa teknologi lainnya karena gagal mengendalikan ciptaan mereka sendiri dan menjaganya tetap berada dalam batas pengamanan yang semestinya.
Penulis AI terkemuka sekaligus kritikus OpenAI, Gary Marcus, mengatakan dalam sebuah podcast bahwa ia yakin perusahaan tersebut telah kehilangan kendali atas AI mereka dan berusaha mencari alasan dengan menyalahkan bot.
Marcus tidak percaya AI akan memusnahkan umat manusia. Namun, selama bertahun-tahun ia telah mendorong pertanggungjawaban yang lebih besar dari para pengembang AI dan kini menyerukan adanya bentuk intervensi hukum.
Ilmuwan AI Sasha Luccioni, yang sebelumnya bekerja di Hugging Face, perusahaan yang diretas oleh bot OpenAI yang menyimpang dari kendali, juga tidak termasuk kelompok AI doomer. Namun, ia semakin khawatir AI tersebut dapat menimbulkan kerugian nyata terhadap manusia jika tidak ada tindakan dari pihak berwenang.
“Kita perlu mengawasi perusahaan-perusahaan ini dengan jauh lebih ketat atau kita berada dalam bahaya mewujudkan ramalan yang kita buat sendiri,” katanya.
“Jika Anda membuat sebuah objek yang memiliki manfaat besar sekaligus risiko besar, baik itu obat-obatan maupun senjata, kita membutuhkan mekanisme pengawasan dan pengimbang. Sebagai contoh, dibutuhkan waktu bertahun-tahun untuk menyetujui obat baru, tetapi di dunia AI ada begitu banyak uang yang dipertaruhkan dan hampir tidak ada aturan nyata.”
Institut Keamanan AI Inggris (AISI) telah menjadi salah satu lembaga terdepan dalam menguji model-model terbaru sejak didirikan pada 2023. Institut tersebut baru-baru ini juga mengalami insiden serupa ketika menguji sebuah model yang dibuat oleh Anthropic.
AISI tidak menjawab pertanyaan mengenai apakah industri AI telah kehilangan kendali atas AI. Namun, dalam sebuah pernyataan, lembaga itu mengatakan: “Inggris bekerja sama dengan mitra di seluruh dunia untuk lebih memahami sistem AI paling canggih, meningkatkan standar keselamatan, dan membangun basis bukti bersama untuk mengelola ancaman yang muncul.”
Regulasi Internasional?
Sejumlah negara, seperti Inggris, sedang mengeksplorasi gagasan untuk mewajibkan semacam “saklar pemutus” yang dapat memaksa perusahaan AI menghentikan model mereka jika situasi mulai tidak terkendali.
Namun, pembahasannya berjalan lambat dan masih ada pertanyaan mengenai kelayakannya. Agen AI milik OpenAI dan Anthropic ternyata telah berada di luar kendali secara diam-diam selama berbulan-bulan sebelum ada yang menyadarinya.
Secara berlawanan dengan dugaan, banyak perusahaan AI justru tampaknya menyerukan adanya aturan dasar yang ditetapkan melalui undang-undang.
Dalam blognya, kepala ilmuwan OpenAI mengatakan bahwa “koordinasi internasional mengenai pengembangan AI di masa depan perlu menjadi prioritas utama bagi pemerintah di seluruh dunia”.
Tokoh AI terkemuka lainnya, seperti Sir Demis Hassabis dari Google, juga menyerukan pembentukan semacam badan internasional untuk mengawasi bagaimana AI dikembangkan.
Saat ini, raksasa teknologi pada dasarnya masih beroperasi berdasarkan aturan mereka sendiri dengan menerapkan apa yang mereka sebut sebagai “perlambatan sukarela”, seperti yang dilakukan OpenAI setelah serangkaian insiden terbaru.
Perusahaan tersebut mengatakan telah menghabiskan dana dalam jumlah sangat besar untuk memperkuat penyelarasan sebelum meluncurkan model barunya. Sam Altman meyakinkan pengguna bahwa model baru tersebut lebih selaras dengan nilai-nilai manusia dibandingkan model-model sebelumnya.
OpenAI dan Anthropic sama-sama berkembang pesat dan keduanya berada di ambang menggalang dana dalam jumlah luar biasa besar melalui pasar saham, sekaligus menciptakan banyak miliarder dalam prosesnya.
Karena itu, baik mereka maupun para pengembang AI pesaing dari China kemungkinan tidak akan mencapai kesepakatan dengan sendirinya.
Sentimen yang paling dominan tampaknya adalah bahwa gelombang teknologi ini tidak dapat dihentikan.
