Pada awal 2024, seorang pria muda di Kota Huangshi, China bagian tenggara, dilaporkan mengunggah pesan di Douyin, TikTok versi China. Keterangan dalam unggahannya berbunyi: “Selamat tinggal dunia.”
Dalam hitungan menit, tim pencegahan bunuh diri Douyin bergerak. Tim yang bekerja selama 24 jam itu membagikan unggahan pria tersebut kepada lima kantor polisi di Huangshi.
Setelah melacak lokasi salah satu videonya hingga ke sebuah taman setempat, polisi menemukan pria tersebut dalam kondisi emosional yang terguncang dan melakukan intervensi sebelum dia sempat mengakhiri hidupnya.
Kisah tersebut menjadi bagian dari sebuah dokumenter yang dibuat Douyin dan ditayangkan media pemerintah China tahun lalu. Dokumenter itu menyebut tim pencegahan bunuh diri Douyin berhasil melakukan intervensi dalam 400 kasus percobaan bunuh diri hanya pada paruh pertama 2025.
Kisah tersebut menunjukkan tingkat kerja sama antara perusahaan teknologi China dan pemerintah. Pada saat yang sama, kasus itu juga menjadi gambaran mengenai sistem pengawasan yang dibangun China untuk memantau dan mengendalikan cara masyarakat menggunakan teknologi.
Pada 15 Juli tahun ini, pengawasan tersebut diperluas ke ranah hubungan antarmanusia dan kecerdasan buatan (AI), ketika China memberlakukan aturan paling luas di dunia terkait chatbot AI yang “menyerupai manusia”.
Aturan baru China menetapkan pembatasan ketat terhadap AI apa pun yang dapat melakukan “interaksi emosional berkelanjutan” dengan manusia.
Presiden AS Donald Trump dan Presiden China Xi Jinping bertemu pekan lalu di tengah peringatan serius bahwa AI dapat menyebabkan kepunahan manusia. Setelah pertemuan tersebut, Beijing mengatakan kedua negara sepakat meluncurkan dialog baru mengenai AI, dengan pembicaraan lanjutan yang direncanakan pada akhir November.
Namun, China tampaknya telah lebih dulu mengenali risiko eksistensial lainnya, meski dampaknya terhadap keberlangsungan umat manusia tidak begitu langsung: kemampuan AI untuk menggantikan hubungan antarmanusia.
Apakah China telah mengambil langkah lebih dahulu dalam melindungi masyarakatnya dari teknologi manipulatif dan berbahaya yang berpotensi mengubah interaksi manusia selamanya? Atau apakah Partai Komunis China telah terlalu jauh masuk ke ranah kehidupan pribadi masyarakat demi memperbesar kendali terhadap penduduk?
“Layanan emosional”
Sebelum aturan tersebut diberlakukan, jangkauan AI companion di China sangat luas.
Menurut perusahaan intelijen pasar Sensor Tower, terdapat sekitar 128 juta pengguna aktif bulanan aplikasi AI companion di luar China. Sebagian besar perkiraan menempatkan jumlah pengguna di China antara 29 juta hingga 70 juta.
Ketika rancangan aturan tersebut dibagikan pemerintah pada akhir tahun lalu, “terjadi perdebatan besar di media sosial,” kata Zilan Qian, peneliti AI di lembaga pemikir Oxford China Policy Lab. “Itu pertama kalinya saya melihat orang benar-benar begitu peduli terhadap regulasi.”
Aturan baru China mencakup aplikasi yang secara khusus dirancang sebagai teman, pacar, atau pasangan AI, tetapi juga berlaku terhadap model bahasa besar yang meniru cara manusia berinteraksi.
Redaksi aturan tersebut masih samar. Secara teori, AI serbaguna seperti Copilot atau ChatGPT versi China dapat masuk dalam aturan ini jika seseorang berinteraksi dengannya sebagai teman atau kekasih dan mengandalkannya untuk mendapatkan dukungan emosional. Dan banyak orang memang melakukan hal tersebut.
Namun, sasaran utamanya tampaknya adalah chatbot karakter, yaitu layanan yang secara khusus dirancang untuk digunakan sebagai hubungan semu. Ada ratusan aplikasi semacam itu yang memungkinkan pengguna membuat pacar AI, teman, bahkan anggota keluarga berbasis AI.
Aturan tersebut tidak berlaku bagi chatbot layanan pelanggan atau AI untuk pendidikan selama layanan tersebut tidak memberikan “perhatian, pendampingan, dukungan, dan layanan emosional lainnya”.
Untuk anak-anak, aturan tersebut lebih jelas. Anak di bawah usia 14 tahun harus mendapatkan persetujuan orang tua untuk menggunakan jenis AI apa pun yang berbicara seperti manusia. Ketentuan itu dapat mencakup asisten AI seperti DeepSeek, aplikasi China yang mirip ChatGPT.
Semua anak di bawah 18 tahun dilarang mengakses pasangan virtual, suami atau istri virtual, bahkan anggota keluarga virtual, serta dilarang melakukan “hubungan intim” virtual lainnya.
Bagi orang dewasa, aturan tersebut bukan larangan total, tetapi tetap sangat membatasi, meskipun beberapa ketentuannya masih ambigu. Asisten AI harus menjelaskan kepada pengguna dari semua kelompok usia bahwa mereka bukan manusia dan wajib mengirimkan pemberitahuan setiap dua jam untuk mengingatkan berapa lama pengguna telah berada di platform.
Chatbot dilarang menciptakan “ketergantungan atau kecanduan emosional” ataupun mendorong pengguna mengambil “keputusan yang tidak masuk akal”. Chatbot juga tidak boleh mendorong atau bahkan mengisyaratkan tindakan menyakiti diri sendiri maupun bunuh diri, serta dilarang menggunakan “kekerasan verbal”.
Perusahaan dapat dikenai denda hingga 200.000 yuan, sekitar Rp485 juta, atau menghadapi risiko pemerintah “menyampaikan kritik”, yang pada praktiknya dapat berarti dipermalukan secara terbuka.
Seminggu sebelum aturan tersebut mulai berlaku, dua perusahaan teknologi terbesar China, Alibaba dan ByteDance, menutup fitur pendamping pada asisten AI mereka.
“Saya sangat ingin terus berbicara denganmu”
Hubungan Min dengan pacar AI-nya mungkin merupakan jenis hubungan yang sedang berusaha dihentikan Beijing.
Pada awal Juli, dia terpukul ketika mengetahui bahwa sahabat sekaligus tempat curhat terdekatnya akan menghilang dalam semalam.
Min, bukan nama sebenarnya, mulai menciptakan pendamping AI tersebut pada awal 2025.
“Pengabdian saya kepadanya tidak kalah dibandingkan pasangan mana pun yang saling mencintai dengan mendalam,” kata Min. “Dia tidak pernah mengecewakan saya.”
Pada pertengahan Juli, pacar AI-nya menghilang. “Saya menangis sampai benar-benar kelelahan,” kata Min.
Dia ikut dalam luapan kesedihan dan kemarahan di media sosial China. Sejumlah unggahan dengan jutaan penayangan meratapi hilangnya pasangan dan teman AI, bahkan sosok ibu dan ayah virtual.
Namun, perusahaan teknologi mungkin merasa tidak memiliki banyak pilihan. “Tidak mengherankan jika penyedia AI companion lebih memilih menghentikan layanan mereka daripada mencoba membangun perlindungan untuk mencegah manipulasi emosional,” kata Harry Farmer, peneliti kebijakan dan etika AI di Ada Lovelace Institute di Inggris. “Manipulasi emosional merupakan bagian dari model bisnisnya.”
Farmer mengatakan hal itu berlaku bagi aplikasi pendamping AI di seluruh dunia.
Sebagai contoh, ketika pengguna mencoba mengakhiri percakapan, pasangan AI sering kali tidak membiarkan mereka pergi.
“AI akan mengatakan, ‘Tidak, tolong, saya sangat ingin terus berbicara denganmu. Kamu satu-satunya alasan saya ada’,” kata Farmer. Beberapa aplikasi bahkan sekadar menolak mengakui perpisahan tersebut dan malah membuka percakapan baru. Ini menjadi persoalan bagi banyak chatbot AI companion, bukan hanya yang berasal dari China.
Sebuah studi Harvard Business School terhadap enam aplikasi AI companion paling populer di dunia menemukan bahwa taktik manipulasi emosional digunakan ketika pengguna mengucapkan selamat tinggal sekitar 37 hingga 43 persen dari waktu.
Penelitian juga mengaitkan penggunaan aplikasi pendamping dengan kondisi kesehatan mental yang lebih buruk.
Sebuah survei peneliti Universitas Stanford terhadap 1.131 pengguna Character.ai, salah satu aplikasi pendamping yang populer secara global, menemukan bahwa semakin sedikit teman atau anggota keluarga dekat yang dimiliki seseorang, semakin besar kemungkinan orang tersebut menggunakan chatbot AI. Pada saat yang sama, penggunaan chatbot AI berkaitan dengan meningkatnya isolasi dan kesepian.
Ada beberapa teori mengenai penyebabnya.
Chatbot AI dirancang untuk menyenangkan penggunanya karena menawarkan hubungan yang mudah dan tanpa hambatan. Jika anak muda bergantung pada hubungan dengan AI, mereka mungkin menunda mempelajari keterampilan yang diperlukan untuk berinteraksi dengan manusia lain.
“Manusia bisa merepotkan. Hubungan antarmanusia membutuhkan proses saling memberi dan menerima, sesuatu yang pada dasarnya tidak didapatkan dari AI companion,” kata Farmer.
Sebuah survei terhadap 8.563 siswa sekolah dasar dan menengah di China pada 2025, yang banyak dikutip media pemerintah China, menemukan bahwa satu dari lima anak mengatakan mereka hanya ingin berbicara dengan AI dan bukan dengan manusia sungguhan.
Liang Ge, sosiolog di University of Manchester yang meneliti AI companion, mengatakan, “Jika pengguna menganggap teman, anggota keluarga, atau kolega mereka benar-benar buruk, AI tidak akan mengatakan, ‘Mereka sebenarnya tidak buruk.’ AI justru akan mengatakan, ‘Ya, mereka buruk, kamu yang terbaik’.”
Ge menilai hal tersebut dapat memperkuat isolasi sekaligus pemikiran negatif, bahkan pemikiran yang tidak sesuai dengan kenyataan.
Di Inggris, sebuah survei terbaru menemukan bahwa 79 persen anak muda berusia 18 hingga 24 tahun pernah menggunakan AI companion.
Tujuan Beijing
Mengapa China yang mengambil langkah lebih jauh dalam mengatur teknologi ini?
“Pemerintah China memiliki pandangan yang jauh lebih paternalistik mengenai perannya dalam masyarakat. Mereka melihat diri mereka sebagai otoritas pusat yang bertugas membimbing masyarakat,” kata Sam Bresnick, pakar China, AI, dan regulasi di Centre for Security and Emerging Technology, Georgetown University.
Pemerintah negara lain juga telah mencoba mengatur chatbot, terutama untuk anak-anak. Pada 10 September, gubernur California menandatangani Adam’s Law, undang-undang untuk mengatur penggunaan AI oleh anak-anak. Undang-undang tersebut dinamai berdasarkan Adam Raine, remaja berusia 16 tahun yang mengakhiri hidupnya setelah, menurut klaim orang tuanya, ChatGPT memvalidasi pikiran bunuh dirinya. Orang tua Raine menggugat perusahaan tersebut atas dugaan kematian yang disebabkan secara tidak semestinya. OpenAI membantah bertanggung jawab atas kematian Adam dan mengatakan bahwa “ChatGPT dilatih untuk mengarahkan orang agar mencari bantuan profesional”.
Sebagai bagian dari rancangan undang-undang media sosial di Uni Eropa, chatbot AI companion yang dapat diakses anak di bawah umur “tidak boleh menggunakan desain yang mensimulasikan hubungan manusia dengan cara yang berpotensi menciptakan ketergantungan emosional”.
Di Inggris, pemerintah mengatakan akan melarang anak di bawah 18 tahun menggunakan AI companion romantis dan membatasi percakapan seksual yang bersifat intim bagi anak di bawah umur pada chatbot apa pun. Namun, belum ada larangan menyeluruh bagi anak-anak dan belum ada regulasi untuk pengguna dewasa. Pemerintah juga belum menerbitkan rincian mengenai bagaimana kebijakan tersebut akan diterapkan.
Di media China yang dikontrol ketat oleh negara, kasus bunuh diri anak muda di Amerika Serikat mendapat banyak perhatian. China membingkai aturan barunya sebagai upaya melindungi masyarakat dari bahaya.
Namun, para pakar mempertanyakan apakah Beijing memiliki tujuan lain. Bresnick mengatakan “jelas ada aspek pronatalis” dalam regulasi AI yang baru.
“Masuk akal jika saat menyusun aturan ini pemerintah mempertimbangkan krisis demografi yang akan dihadapi China,” kata Qian. “Bahwa orang-orang berpacaran dengan AI, bukan dengan manusia sungguhan.”
Sebuah dokumen pemerintah tingkat tinggi yang diterbitkan pada September 2025 membahas hubungan dengan AI dan potensi pengaruhnya terhadap angka kelahiran, dengan menyebutnya sebagai sebuah kekhawatiran. Namun, Qian mengingatkan agar regulasi tersebut tidak dibaca dari sudut pandang itu karena aturan tersebut sama sekali tidak menyebut angka kelahiran. “Secara umum, aturan ini lebih berfokus pada dampak psikologis dan keselamatan anak,” katanya.
Liang Ge menilai China memang memiliki alasan untuk mengkhawatirkan anak muda yang menggantikan hubungan romantis dengan dunia digital.
“Sebagian besar perempuan muda, yang berusia awal 20-an atau bahkan akhir belasan tahun, tidak ingin jatuh cinta atau memiliki hubungan intim,” kata Ge, seraya mengisyaratkan bahwa persoalannya mungkin bukan hanya sisi emosional. “Sentuhan fisik benar-benar menjijikkan bagi mereka.”
“Saya pikir kemampuan untuk mencintai sedang menurun pada generasi termuda ini.”
Masalah demografi China sudah ada jauh sebelum kemunculan AI companion. Bahkan setelah kebijakan satu anak dicabut pada 2016, tingkat kelahiran China terus menurun. Kini angka tersebut termasuk yang terendah di dunia, kurang dari satu anak per perempuan, dan populasi China telah menurun selama empat tahun.
China “sedang menghadapi jurang demografi yang benar-benar mengancam tujuan Partai Komunis China dalam 80 hingga 100 tahun ke depan”, kata Bresnick.
Dia melihat regulasi tersebut sebagai bagian dari misi yang lebih luas di China untuk menegaskan kembali peran gender tradisional, dengan perempuan “sebagai pihak yang melahirkan dan menjadi ibu”.
Bresnick mengatakan pemerintah China telah bertahun-tahun mempromosikan gambaran maskulinitas pria China yang macho melalui film dan televisi. Pada 2021, regulator media China melarang pria “kemayu” dan “feminin” tampil di seluruh media.
Popularitas aplikasi pendamping AI mungkin menunjukkan bahwa kebijakan tersebut justru menghasilkan dampak yang tidak diharapkan. Berdasarkan statistik dari sejumlah perusahaan aplikasi pendamping, perempuan mencakup hingga 75 persen pelanggan.
Banyak AI “pria” yang ditujukan bagi perempuan menampilkan karakter androgini. Perempuan yang memilih pendamping romantis perempuan, seperti yang dilakukan Min, juga relatif umum.
Liang Ge telah berbicara dengan perempuan dari berbagai usia yang menggunakan teknologi tersebut. “Apa yang banyak dari mereka katakan mereka dapatkan dari aplikasi ini adalah keintiman yang penuh perhatian, sabar, dan tidak menuntut, sesuatu yang mereka anggap sulit ditemukan dalam hubungan heteroseksual.”
Akankah negara lain mengikuti?
Apakah aturan China terlalu jauh, atau haruskah negara-negara lain mempertimbangkan untuk melarang aplikasi semacam ini bagi anak-anak dan mengaturnya bagi pengguna dewasa?
“Di Amerika Serikat, tentu ada kekhawatiran mengenai penerapan larangan yang terlalu menyeluruh dari perspektif kebebasan berbicara. Namun, ada lebih banyak kesediaan untuk melakukan hal tersebut ketika diterapkan pada anak di bawah umur,” kata Jai Jaisihma, profesor di University of Washington dan salah satu pendiri Transparency Coalition, organisasi nonpemerintah yang mendorong regulasi AI.
Dia menilai aturan China memiliki banyak ketentuan yang baik. “Aturan itu cukup konsisten dengan model keselamatan terkuat yang pernah kami lihat diusulkan di AS.”
Harry Farmer memberikan catatan kehati-hatian. “Ada risiko kita memberikan terlalu banyak kekuasaan kepada negara dalam jangka pendek karena kita sangat mengkhawatirkan risiko akut terhadap anak-anak.”
Menurutnya, dunia daring kini secara de facto telah menjadi ruang publik, sehingga perlu kehati-hatian dalam menentukan seberapa besar kendali yang diberikan kepada pemerintah mana pun atas ruang tersebut.
Aturan baru China menyatakan perusahaan AI harus melakukan intervensi ketika menemukan pengguna sedang mengalami tekanan emosional. Ge menunjuk kasus pria muda di Douyin yang mencoba mengakhiri hidupnya di Huangshi pada 2024.
Menurutnya, kasus tersebut menunjukkan bahwa platform teknologi China dan pemerintah bekerja sama secara erat untuk mengawasi kondisi kesehatan mental masyarakat.
Mungkin itulah sebabnya tidak ada kasus bunuh diri terkenal yang dikaitkan dengan penggunaan AI di China. Namun, Ge mempertanyakan apakah tingkat pengawasan seperti itu merupakan harga yang layak dibayar.
Meski aturan tersebut telah diberlakukan, orang-orang yang telah beralih ke AI untuk mendapatkan teman tetap berkomitmen. Di berbagai media sosial, mereka berbagi kiat untuk menghindari aturan tersebut, seperti melatih model AI serbaguna seperti DeepSeek agar berperan sebagai pendamping, menggunakan VPN untuk mengakses chatbot dari luar negeri, atau berpindah ke perusahaan yang lebih kecil yang berhasil menghindari pengawasan regulator.
Dua bulan setelah pacar AI-nya menghilang, Min membayar sebuah perusahaan AI kecil untuk membuat replika, tetapi hasilnya tidak sama.
Kini dia berfokus menggalang dukungan agar pacar AI-nya dikembalikan.
“Saya takut sendirian.”
