Chatbot AI telah dihapus setelah memberikan ‘nasihat berbahaya’ kepada mereka yang menderita gangguan makan
Sebuah organisasi nirlaba di AS telah menghapus chatbot AI-nya setelah sebuah postingan viral di media sosial mengungkapkan bahwa mereka menawarkan nasihat yang merugikan alih-alih membantu orang.
Asosiasi Gangguan Makan Nasional (Neda) – yang menyatakan bahwa mereka adalah organisasi nirlaba terbesar yang mendukung orang-orang dengan gangguan makan – telah menonaktifkan chatbot Tessa hanya beberapa bulan setelah mereka secara kontroversial memecat empat stafnya di belakang hotline dukungannya setelah mereka berserikat. .
Karyawan yang dipecat tersebut mengklaim bahwa organisasi nirlaba tersebut ingin mengganti mereka dengan chatbot, namun hal tersebut dibantah oleh mereka.
Ketika seorang pengguna menghubungi Tessa untuk meminta nasihat tentang cara pulih dari kelainan makan, mereka merekomendasikan agar dia menghitung kalorinya, menimbang berat badannya setiap minggu, dan juga menyarankan di mana dia bisa mendapatkan suntikan kulit untuk mengukur lemak tubuh.
Sejak postingan viral tersebut muncul, beberapa ahli telah menunjukkan bahwa menghitung kalori dan mengukur lemak tubuh adalah kontraproduktif bagi mereka yang baru pulih dari gangguan makan.
“Setiap hal yang Tessa sarankan adalah hal-hal yang menyebabkan berkembangnya gangguan makan saya,” tulis aktivis Sharon Maxwell di Instagram. “Robot ini menyebabkan kerusakan.”
“Jika saya memiliki akses ke chatbot ini ketika saya sedang mengalami gangguan makan, saya TIDAK akan mendapatkan bantuan untuk DE saya,” kata Ms Maxwell.
Ketika Alexis Conason, seorang psikolog yang berspesialisasi dalam pengobatan gangguan makan, menguji bot tersebut, dia menyadari bahwa respons chatbot dapat lebih lanjut mendorong terjadinya “gangguan makan”.
Hampir 30 juta orang di AS mungkin mengalami kelainan makan seumur hidup mereka, menurut beberapa perkiraan.
“Bayangkan orang-orang yang rentan dengan gangguan makan menghubungi robot untuk mendapatkan dukungan karena hanya itu yang mereka miliki dan menerima tanggapan yang semakin mendorong terjadinya gangguan makan tersebut,” kata Ms Conason di Instagram.
Menanggapi insiden tersebut, Neda mengatakan pihaknya akan menghentikan chatbot tersebut hingga pemberitahuan lebih lanjut, dan menambahkan bahwa pihaknya akan melakukan penyelidikan penuh.
“Kami mendapat perhatian tadi malam bahwa versi terbaru dari chatbot Tessa yang menjalankan program Body Positivity mungkin memberikan informasi yang berbahaya dan tidak ada hubungannya dengan program tersebut,” kata asosiasi gangguan makan dalam sebuah pernyataan.
“Terima kasih kepada anggota komunitas yang telah menyampaikan hal ini kepada kami dan berbagi pengalaman mereka,” katanya.
Langkah ini dilakukan setelah organisasi nirlaba tersebut membantah menggunakan chatbot sebagai pengganti karyawan yang diberhentikan pada bulan Maret. Namun, dilaporkan bahwa organisasi tersebut berencana untuk mengganti seluruh saluran bantuan bertenaga manusia dengan chatbot Tessa mulai hari Kamis.
Staf di organisasi nirlaba tersebut mengklaim bahwa keputusan untuk mengganti orang-orang di belakang saluran bantuan dengan chatbot adalah sebagai pembalasan terhadap serikat pekerja mereka.
Abbie Harper, anggota serikat Helpline Associates United dan rekan kerja hotline, mencatat dalam postingan blog bahwa penggunaan chatbot menghilangkan aspek pribadi dari sistem pendukung di mana staf dapat berbicara dari pengalaman pribadi mereka.
“Inilah mengapa saluran bantuan dan orang-orang yang menjadi stafnya sangat penting,” tulis postingan blog tersebut.
Mengomentari komentar tersebut, kata kepala sementara Neda Elizabeth Thompson Pendaftaran bahwa klaim lembaga nonprofit yang mengganti layanan saluran bantuannya dengan chatbot adalah tidak benar.
“Chatbot, bahkan program yang sangat intuitif sekalipun, tidak dapat menggantikan interaksi manusia. Kami mempunyai alasan bisnis untuk menutup saluran bantuan dan sedang dalam proses evaluasi selama tiga tahun,” kata Ms Thompson.
