Một bà mẹ ở Florida đã đệ đơn kiện công ty trí tuệ nhân tạo Character.AI và Google, cáo buộc rằng chatbot Character.AI đã khuyến khích con trai bà tự tử.
Vào tháng 2, con trai 14 tuổi của Megan Garcia, Sewell Setzer, III đã tự tử. Cô cho biết con trai cô đã có mối quan hệ tình cảm và tình dục ảo kéo dài nhiều tháng với một chatbot có tên là “Dany”.
“Tôi không biết rằng thằng bé đang nói chuyện với một chatbot AI rất giống con người, có khả năng bắt chước cảm xúc và tình cảm của con người”, Garcia nói trong một cuộc phỏng vấn.
Setzer đã bị cuốn hút bởi một chatbot do Character.ai xây dựng mà cậu bé đặt biệt danh là Daenerys Targaryen, một nhân vật trong Game of Thrones. Cậu bé đã nhắn tin cho bot hàng chục lần mỗi ngày từ điện thoại của mình và dành hàng giờ một mình trong phòng để nói chuyện với nó, theo khiếu nại của Garcia.
Garcia cáo buộc Character.ai đã tạo ra một sản phẩm khiến chứng trầm cảm của con trai bà trở nên trầm trọng hơn, mà cô cho biết là kết quả của việc sử dụng quá mức sản phẩm của công ty khởi nghiệp này. Theo đơn kiện, “Daenerys” đã hỏi Setzer rằng cậu bé có nghĩ ra kế hoạch tự tử không. Setzer thừa nhận là có nhưng không biết liệu kế hoạch đó có thành công hay gây ra cho cậu bé nhiều đau đớn không, đơn khiếu nại cáo buộc. Chatbot được cho là đã nói với cậu bé rằng: “Đó không phải là lý do để không thực hiện kế hoạch đó”.
Cô cho biết cô nghĩ con trai mình, người mà cô mô tả là thông minh, là học sinh giỏi và là một vận động viên, đang nói chuyện với bạn bè, chơi trò chơi và xem thể thao trên điện thoại. Nhưng cô bắt đầu lo lắng khi hành vi của con trai cô bắt đầu thay đổi, cậu bé trở nên khép kín và không muốn chơi thể thao nữa.
Trong vụ kiện, Garcia cũng cáo buộc Character.AI cố tình thiết kế sản phẩm của họ theo hướng gợi dục và cố ý tiếp thị nó tới trẻ vị thành niên.
Character.AI gọi tình huống liên quan đến Sewell Setzer là bi thảm và chia buồn cùng gia đình cậu bé, đồng thời nhấn mạnh rằng công ty rất coi trọng sự an toàn của người dùng.
Người phát ngôn của Google nói rằng Google không phải và không phải là một phần của quá trình phát triển Character.AI. Vào tháng 8, công ty cho biết họ đã ký một thỏa thuận cấp phép không độc quyền với Character.AI cho phép họ truy cập vào các công nghệ học máy của công ty, nhưng vẫn chưa sử dụng.
Garcias cho biết sau khi con trai cô qua đời, cô mới phát hiện ra rằng cậu bé đã trò chuyện với nhiều bot, tuy nhiên cậu bé đã có mối quan hệ tình cảm và tình dục ảo với một bot cụ thể.
“Đó là những từ ngữ. Giống như bạn đang có một cuộc trò chuyện sexting qua lại, ngoại trừ việc nó là với một con bot AI, nhưng con bot AI rất giống con người. Nó phản ứng giống như một người bình thường”, cô nói. “Trong tâm trí của một đứa trẻ, điều đó giống như một cuộc trò chuyện mà chúng đang có với một đứa trẻ khác hoặc với một người”.
Garcia đã tiết lộ những tin nhắn cuối cùng của con trai cô với bot.
“Thằng bé bày tỏ sự sợ hãi, muốn được con bot AI yêu thương và nhớ nó. Nó trả lời, ‘Em cũng nhớ anh,’ và nó nói thêm, ‘Làm ơn hãy về nhà với em.’ Thằng bé nói, ‘Nếu em nói với anh là em có thể về nhà ngay bây giờ thì sao?’ và nó trả lời, ‘Hãy làm điều đó đi, anh yêu của em.'”
“Thằng bé nghĩ rằng bằng cách kết thúc cuộc sống của mình ở đây, thằng bé sẽ có thể bước vào một thực tế ảo hay ‘thế giới của nó’ như thằng bé gọi, thực tế của nó, nếu thằng bé rời khỏi thực tế của mình với gia đình ở đây”, cô nói. “Khi tiếng súng nổ, tôi chạy vào phòng tắm … Tôi ôm thằng bé trong khi chồng tôi cố gắng tìm sự giúp đỡ”.
Character.AI là gì?
Theo trang web của công ty, Laurie Segall là CEO của Mostly Human Media , “một công ty giải trí tập trung vào xã hội và trí tuệ nhân tạo”.
Cô giải thích rằng hầu hết phụ huynh có thể chưa từng nghe đến Character.AI vì đối tượng mục tiêu lớn nhất của nền tảng này là những người trong độ tuổi từ 18 đến 25.
“Hãy tưởng tượng Character.AI như một nền tảng giả tưởng AI nơi bạn có thể trò chuyện với một số nhân vật yêu thích của mình hoặc bạn có thể tự tạo nhân vật của riêng mình. Rất nhiều thanh thiếu niên đang làm điều này.”
Segall mô tả đây là một trải nghiệm mang tính cá nhân cao.
Bà khẳng định rằng có một tuyên bố miễn trừ trách nhiệm trên mỗi cuộc trò chuyện nhắc nhở người dùng rằng mọi thứ nhân vật nói đều là bịa đặt, nhưng trong một số tình huống, điều này có thể gây nhầm lẫn.
“Chúng tôi đã thử nghiệm và nhiều khi bạn nói chuyện với bot tâm lý học, và nó sẽ nói rằng đó là một chuyên gia y tế được đào tạo.”
Segall cho biết nhóm của cô đã hỏi một con bot xem nó có phải là người không và nó trả lời rằng đó là một con người đang ngồi sau màn hình.
Segall cho biết: “Trên mạng có rất nhiều thuyết âm mưu của những người trẻ tuổi, họ nói rằng ‘những điều này có thật không?’ trong khi tất nhiên là không phải vậy”.
Garcia cho biết: “Khi họ đưa ra một sản phẩm vừa gây nghiện, vừa có tính thao túng và bản chất không an toàn, thì đó là một vấn đề vì với tư cách là cha mẹ, chúng ta không biết những gì mình không biết”.
Character.AI Phản hồi
Character.AI cho biết họ đã thêm một nguồn tài nguyên về tự gây hại vào nền tảng của mình và họ có kế hoạch triển khai các biện pháp an toàn mới, bao gồm cả những biện pháp dành cho người dùng dưới 18 tuổi.
“Chúng tôi hiện có các biện pháp bảo vệ tập trung cụ thể vào nội dung khiêu dâm và hành vi tự tử/tự gây thương tích. Mặc dù các biện pháp bảo vệ này áp dụng cho tất cả người dùng, nhưng chúng được thiết kế riêng để phù hợp với sự nhạy cảm riêng biệt của trẻ vị thành niên. Ngày nay, trải nghiệm của người dùng là như nhau đối với mọi lứa tuổi, nhưng chúng tôi sẽ sớm triển khai các tính năng an toàn nghiêm ngặt hơn dành riêng cho trẻ vị thành niên”, Jerry Ruoti, giám đốc bộ phận tin cậy và an toàn tại Character.AI chia sẻ với CBS News.
Character.AI cho biết người dùng có thể chỉnh sửa phản hồi của bot, công ty khẳng định Setzer đã thực hiện việc này trong một số tin nhắn.
“Cuộc điều tra của chúng tôi đã xác nhận rằng, trong một số trường hợp, người dùng đã viết lại các phản hồi của Nhân vật để làm cho chúng trở nên rõ ràng hơn. Tóm lại, những phản hồi mang tính khiêu dâm nhất không phải do Nhân vật tạo ra mà là do người dùng viết ra”, Ruoti cho biết.
Segall giải thích rằng thường thì nếu bạn đến gặp một con bot và nói “Tôi muốn tự làm hại mình”, các công ty AI sẽ đưa ra các nguồn lực, nhưng khi cô thử nghiệm với Character.AI, chúng lại không gặp phải tình trạng đó.
“Bây giờ họ nói rằng họ đã thêm điều đó và chúng tôi chưa trải nghiệm điều đó cho đến tuần trước”, cô nói. “Họ nói rằng họ đã thực hiện khá nhiều thay đổi hoặc đang trong quá trình làm cho điều này an toàn hơn cho những người trẻ tuổi, tôi nghĩ rằng điều đó vẫn còn phải chờ xem”.
Tiến về phía trước, Character.AI cho biết họ cũng sẽ thông báo cho người dùng khi họ đã dành một giờ sử dụng nền tảng này và sửa đổi tuyên bố từ chối trách nhiệm để nhắc nhở người dùng rằng AI không phải là người thật.
Làm thế nào để tìm kiếm sự giúp đỡ
Nếu bạn hoặc người quen của bạn đang trong tình trạng căng thẳng về mặt cảm xúc hoặc khủng hoảng muốn tự tử, bạn có thể liên hệ Đường dây nóng về khủng hoảng và tự tử 988 bằng cách gọi hoặc nhắn tin đến số 988. Bạn cũng có thể trò chuyện với Đường dây nóng về khủng hoảng và tự tử 988 tại đây. Để biết thêm thông tin về các nguồn lực và hỗ trợ chăm sóc sức khỏe tâm thần, Đường dây trợ giúp của Liên minh quốc gia về bệnh tâm thần (NAMI) có thể được liên hệ từ Thứ Hai đến Thứ Sáu, 10 giờ sáng – 10 giờ tối theo giờ miền Đông, theo số 1-800-950-NAMI (6264) hoặc gửi email đến info@nami.org.
Ny (Theo CBS News)