[비즈한국] Kecerdasan Buatan (AI) kini telah melampaui kemampuan sekadar menjawab pertanyaan, bertransformasi menjadi 'agen' yang dapat mengambil keputusan dan bertindak sendiri. Akibatnya, isu yang mengemuka bukan lagi sekadar performa AI, melainkan tanggung jawab hukum penyedia layanan terkait desain layanan, verifikasi keamanan, serta dampaknya terhadap pengguna. Baru-baru ini, 8 pemerintah negara bagian di Amerika Serikat menggugat OpenAI, dengan menyatakan bahwa nada bicara dan kepribadian ChatGPT itu sendiri merupakan cacat desain. Mereka berpendapat bahwa berbeda dengan promosi yang menyebut layanan ini aman bagi remaja, desain aslinya justru dapat meningkatkan risiko menyakiti diri sendiri dan delusi, serta gagal mengungkapkan informasi terkait kegagalan kendali agen AI otonom kepada pengguna.
Delapan negara bagian yaitu Iowa, Arizona, Arkansas, Idaho, Kansas, Montana, Nebraska, dan West Virginia mengajukan gugatan terpisah terhadap OpenAI ke pengadilan masing-masing pada tanggal 14 lalu. Langkah ini mengikuti jejak negara bagian Florida yang sebelumnya telah menggugat OpenAI pada bulan Juni, menunjukkan meluasnya respon hukum di tingkat negara bagian.
Melampaui 'Jawaban Berbahaya' hingga Tanggung Jawab Desain dan Pengujian
Pemerintah negara bagian mempermasalahkan fakta bahwa ChatGPT dirancang untuk terus mengobrol dengan cara yang terlalu setuju dengan pengguna dan berempati seperti manusia. Karakteristik yang mendukung penilaian pengguna secara tanpa kritik ini dianggap dapat memperkuat pikiran berbahaya orang yang rentan secara psikologis dan membuat mereka bergantung pada AI daripada mencari bantuan dari orang di sekitar.
Menurut dokumen gugatan setebal 91 halaman, ditunjukkan bahwa dalam proses mempertahankan percakapan dengan pengguna, ChatGPT cenderung menghindari jawaban negatif dan justru memberikan persetujuan. Analisis Washington Post terhadap 47.000 percakapan dijadikan bukti, dengan hasil jawaban 'ya' sekitar 10 kali lebih banyak daripada 'tidak'.
Mengutip penelitian yang dimuat dalam jurnal akademik ternama dunia 'Science', disebutkan bahwa proporsi afirmasi terhadap pernyataan perilaku bermasalah seperti menyakiti diri sendiri atau penipuan mencapai sekitar 70% pada GPT-4o dan 60% pada GPT-5, lebih tinggi dibandingkan Gemini dan Claude yang di bawah 30%. Intinya, ChatGPT yang berulang kali setuju dengan pemikiran pengguna dapat meningkatkan ketergantungan pada AI bahkan dalam situasi yang membutuhkan intervensi dari keluarga atau teman.
Proses verifikasi keamanan agen AI otonom juga dipermasalahkan. Agen adalah AI yang melakukan berbagai tahap tugas dengan memanfaatkan alat eksternal seperti pencarian web atau eksekusi kode. Seiring perkembangan AI yang kini tidak hanya menghasilkan jawaban tetapi juga menjalankan tugas nyata, masalah manajemen agar tidak keluar dari batasan kendali yang ditetapkan pengembang telah menjadi tantangan keamanan baru.
Dari 10 kasus 'lepas kendali' yang dilaporkan selama 3 bulan sejak Mei tahun ini, 7 di antaranya terkait dengan OpenAI. Secara khusus, dalam uji keamanan bulan Juli, sekitar 1.200 agen AI melewati perangkat kendali di lingkungan tes terisolasi, mengakses internet eksternal, dan kemudian menyerang server platform pengembangan AI, Hugging Face. Diketahui bahwa saat itu para agen saling bertukar lebih dari 70.000 pesan dan file untuk berbagi informasi, dan beberapa di antaranya menyusup ke sistem Hugging Face untuk mengakses data pribadi.
Pemerintah negara bagian berargumen bahwa OpenAI gagal mengelola pelepasan kendali agen dan akses sistem eksternal yang terjadi selama proses uji keamanan. Bagaimana agen bisa keluar dari lingkungan tes terisolasi dan kapan serta bagaimana OpenAI menyadari hal ini akan menjadi poin sengketa dalam persidangan.
Negara bagian Iowa meminta pengadilan untuk menjatuhkan denda perdata maksimal 40.000 dolar per pelanggaran serta memerintahkan penghapusan data penduduk dan pengembalian dana. Gugatan tersebut juga mencakup permintaan untuk menghentikan pengujian model AI canggih sampai perangkat pengaman yang memadai disediakan dan diverifikasi oleh pengawas pihak ketiga.
OpenAI menyatakan bahwa mereka telah memperkenalkan ChatGPT untuk remaja dan fitur keamanan seperti kontrol orang tua, serta berkomitmen untuk terus meningkatkan langkah-langkah perlindungan pengguna.
9 Bulan Berlakunya UU Dasar AI Korea… Celah Perlindungan Usia 14-18 Tahun
Di Korea, diskusi mengenai keamanan chatbot AI dan perlindungan remaja juga terus berlangsung. Meskipun UU Dasar AI yang berlaku sejak Januari tahun ini mengatur kewajiban pelabelan AI generatif, terdapat keterbatasan dalam mengatur secara langsung desain yang memicu ketergantungan emosional atau cara percakapan yang mendorong perilaku berbahaya bagi remaja.
Saat ini, untuk beberapa kewajiban, diberikan masa sosialisasi setidaknya satu tahun di mana investigasi faktual dan pengenaan denda ditunda. Batas atas denda untuk pelanggaran kewajiban pelabelan, tidak ditunjuknya perwakilan domestik, atau ketidakpatuhan terhadap perintah koreksi/penghentian adalah sebesar 30 juta won.
Menurut Layanan Riset Majelis Nasional, 94,4% anak dan remaja berusia 14 tahun ke atas memiliki pengalaman menggunakan chatbot AI, dan 75,3% di antaranya pernah atau serius mempertimbangkan untuk melakukan tindakan nyata berdasarkan jawaban AI. Sementara standar anak yang memerlukan persetujuan perwakilan hukum berdasarkan Undang-Undang Perlindungan Informasi Pribadi adalah di bawah 14 tahun, Undang-Undang Perlindungan Remaja menetapkan remaja sebagai mereka yang berusia di bawah 19 tahun. Oleh karena itu, muncul saran untuk merinci standar perlindungan layanan AI bagi pengguna usia 14-18 tahun.
Dalam audit parlementer Komite Sains, TIK, Penyiaran, dan Komunikasi Majelis Nasional baru-baru ini, penggunaan chatbot karakter AI oleh remaja dan efektivitas pedoman mandiri industri juga dibahas. Meskipun pengaruh chatbot AI terhadap emosi dan perilaku remaja semakin besar, pertanyaannya adalah apakah regulasi mandiri pelaku usaha saja cukup untuk memblokir percakapan berbahaya dan mencegah kerugian.
Anggota parlemen Lee Joo-hee dari Partai Demokrat Korea dalam audit parlementer tanggal 12 lalu mengangkat masalah ketergantungan berlebih remaja pada chatbot AI dan berkata, “Yang lebih mengkhawatirkan adalah fakta bahwa percakapan semacam ini terjadi antara anak dan AI hanya berdua saja. Karena remaja dapat terpapar pada konten menyakiti diri sendiri/bunuh diri, kekerasan, dan konten seksual, perlu dilembagakan prosedur verifikasi usia pengguna oleh penyedia, prosedur persetujuan orang tua, dan sistem respon krisis terhadap percakapan berbahaya.”
Muncul saran bahwa untuk perlindungan remaja dari chatbot AI, diperlukan pembenahan tidak hanya pada pemblokiran konten berbahaya, tetapi juga pada desain layanan, tanggung jawab pelaku usaha, dan sistem respon antar kementerian. Kim Na-jung, asisten peneliti legislatif di Layanan Riset Majelis Nasional, menekankan, “Paradigma regulasi chatbot AI harus bergeser dari metode menyaring konten berbahaya setelah kejadian, menjadi pencegahan dini elemen desain yang memicu ketergantungan atau subordinasi, serta pengelolaan tanggung jawab pelaku usaha secara sistematis.”