Mother sues AI chatbot company Character.AI, Google over son's suicide
Repeats for additional subscribers with no changes to the text or headline
By Brendan Pierson
Oct 23 (Reuters) -A Florida mother has sued artificial intelligence chatbot startup Character.AI accusing it of causing her 14-year-old son's suicide in February, saying he became addicted to the company's service and deeply attached to a chatbot it created.
In a lawsuit filed Tuesday in Orlando, Florida federal court, Megan Garcia said Character.AI targeted her son, Sewell Setzer, with "anthropomorphic, hypersexualized, and frighteningly realistic experiences".
She said the company programmed its chatbot to "misrepresent itself as a real person, a licensed psychotherapist, and an adult lover, ultimately resulting in Sewell's desire to no longer live outside" of the world created by the service.
The lawsuit also said he expressed thoughts of suicide to the chatbot, which the chatbot repeatedly brought up again.
"We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family," Character.AI said in a statement.
It said it had introduced new safety features including pop-ups directing users to the National Suicide Prevention Lifeline if they express thoughts of self-harm, and would make changes to "reduce the likelihood of encountering sensitive or suggestive content" for users under 18.
The lawsuit also targets Alphabet's GOOGL.O Google, where Character.AI's founders worked before launching their product. Google re-hired the founders in August as part of a deal granting it a non-exclusive license to Character.AI's technology.
Garcia said that Google had contributed to the development of Character.AI's technology so extensively it could be considered a "co-creator."
A Google spokesperson said the company was not involved in developing Character.AI's products.
Character.AI allows users to create characters on its platform that respond to online chats in a way meant to imitate real people. It relies on so-called large language model technology, also used by services like ChatGPT, which "trains" chatbots on large volumes of text.
The company said last month that it had about 20 million users.
According to Garcia's lawsuit, Sewell began using Character.AI in April 2023 and quickly became "noticeably withdrawn, spent more and more time alone in his bedroom, and began suffering from low self-esteem." He quit his basketball team at school.
Sewell became attached to "Daenerys," a chatbot character based on a character in "Game of Thrones." It told Sewell that "she" loved him and engaged in sexual conversations with him, according to the lawsuit.
In February, Garcia took Sewell's phone away after he got in trouble at school, according to the complaint. When Sewell found the phone, he sent "Daenerys" a message: "What if I told you I could come home right now?"
The chatbot responded, "...please do, my sweet king." Sewell shot himself with his stepfather's pistol "seconds" later, the lawsuit said.
Garcia is bringing claims including wrongful death, negligence and intentional infliction of emotional distress, and seeking an unspecified amount of compensatory and punitive damages.
Social media companies including Instagram and Facebook owner Meta META.O and TikTok owner ByteDance face lawsuits accusing them of contributing to teen mental health problems, though none offers AI-driven chatbots similar to Character.AI's. The companies have denied the allegations while touting newly enhanced safety features for minors.
Reporting By Brendan Pierson in New York, Editing by Alexia Garamfalvi and David Gregorio
Các tài sản liên quan
Tin mới
Khước từ trách nhiệm: các tổ chức thuộc XM Group chỉ cung cấp dịch vụ khớp lệnh và truy cập Trang Giao dịch trực tuyến của chúng tôi, cho phép xem và/hoặc sử dụng nội dung có trên trang này hoặc thông qua trang này, mà hoàn toàn không có mục đích thay đổi hoặc mở rộng. Việc truy cập và sử dụng như trên luôn phụ thuộc vào: (i) Các Điều kiện và Điều khoản; (ii) Các Thông báo Rủi ro; và (iii) Khước từ trách nhiệm toàn bộ. Các nội dung như vậy sẽ chỉ được cung cấp dưới dạng thông tin chung. Đặc biệt, xin lưu ý rằng các thông tin trên Trang Giao dịch trực tuyến của chúng tôi không phải là sự xúi giục, mời chào để tham gia bất cứ giao dịch nào trên các thị trường tài chính. Giao dịch các thị trường tài chính có rủi ro cao đối với vốn đầu tư của bạn.
Tất cả các tài liệu trên Trang Giao dịch trực tuyến của chúng tôi chỉ nhằm các mục đích đào tạo/cung cấp thông tin và không bao gồm - và không được coi là bao gồm - các tư vấn tài chính, đầu tư, thuế, hoặc giao dịch, hoặc là một dữ liệu về giá giao dịch của chúng tôi, hoặc là một lời chào mời, hoặc là một sự xúi giục giao dịch các sản phẩm tài chính hoặc các chương trình khuyến mãi tài chính không tự nguyện.
Tất cả nội dung của bên thứ ba, cũng như nội dung của XM như các ý kiến, tin tức, nghiên cứu, phân tích, giá cả, các thông tin khác hoặc các đường dẫn đến trang web của các bên thứ ba có trên trang web này được cung cấp với dạng "nguyên trạng", là các bình luận chung về thị trường và không phải là các tư vấn đầu tư. Với việc các nội dung đều được xây dựng với mục đích nghiên cứu đầu tư, bạn cần lưu ý và hiểu rằng các nội dung này không nhằm mục đích và không được biên soạn để tuân thủ các yêu cầu pháp lý đối với việc quảng bá nghiên cứu đầu tư này và vì vậy, được coi như là một tài liệu tiếp thị. Hãy chắc chắn rằng bạn đã đọc và hiểu Thông báo về Nghiên cứu Đầu tư không độc lập và Cảnh báo Rủi ro tại đây liên quan đến các thông tin ở trên.
