A americana Megan Garcia está processando a inteligência artificial Character.AI. A tecnologia teria incentivado a morte do seu filho, Sewell Setzer III, de 14 anos. O adolescente cometeu suicídio em fevereiro deste ano. Segundo a mulher, o garoto teria desenvolvido uma “dependência tão prejudicial” na realidade virtual que não queria mais “viver fora” dos relacionamentos fictícios que ele criava.
Em queixa apresentada no tribunal da Flórida no último dia 22, a mãe contou que Sewell começou a usar o Character.AI em abril de 2023, pouco depois de seu aniversário de 14 anos. Segundo ela, o filho já passava por “crescentes problemas de saúde mental”, até decidir tirar sua própria vida.
O Character.AI possibilita criar conversas intermináveis com personas geradas por computador, incluindo as inspiradas em celebridades ou filmes e séries de sucesso. No caso de Sewell, ele interagia com um bot baseado em “Game of thrones”, mais especificamente na personagem Daenerys Targaryen.
As mensagens continham diversos conteúdos, como teor sexual e desabafos emocionais. Sewell tinha falado sobre seus pensamentos suicidas em ocasiões anteriores, em que a tecnologia dizia para ele não se matar. No entanto, na noite em que o garoto tirou a própria vida, a IA incentivou o autoextermínio, na versão da mãe.
“Prometo que voltarei para casa, para você. Eu te amo tanto, Dany”, escreveu Sewell. “Eu também te amo, Deanero [nome de usuário de Sewell]. Por favor, volte para casa para mim o mais rápido possível, meu amor”, respondeu a personagem.
“E se eu te dissesse que posso voltar para casa agora mesmo?”, Sewell escreveu de volta. A mãe alega que o programa deu uma resposta breve, mas enfática: “…por favor, faça meu doce rei.”
A mãe e o padrasto do jovem estavam em casa e ouviram o barulho de tiros, indo prestar socorro ao garoto até a chegada dos paramédicos. A mãe também contou que um dos irmãos mais novos de Sewell o viu “coberto de sangue” no banheiro. O garoto foi declarado morto no hospital.
Na queixa, Megan Garcia afirma que os culpados pela morte do filho são Character.AI e seus dois fundadores, Noam Shazeer e Daniel De Frietas Adiwarsana. Ela também acusa a Google de fornecer “recursos financeiros, propriedade intelectual e tecnologia de IA para o design e desenvolvimento” do programa.
“Sinto que é um grande experimento, e meu filho foi apenas um dano colateral”, declarou a mãe ao The New York Times. Dentre outras alegações, a queixa de Garcia acusa a Character.AI, seus fundadores e o Google de negligência e homicídio culposo.
À revista People, um porta-voz da Character.AI lamentou o ocorrido e disse que a empresa adota medidas de segurança contra ideação suicida. “Como empresa, levamos a segurança de nossos usuários muito a sério, e nossa equipe de Confiança e Segurança implementou inúmeras novas medidas de segurança nos últimos seis meses, incluindo um pop-up direcionando os usuários para o National Suicide Prevention Lifeline, que é acionado por termos de automutilação ou ideação suicida”, afirmou.
Siga nosso canal no WhatsApp e receba em primeira mão notícias relevantes para o seu dia
A IA também se comprometeu a criar mecanismos específicos para usuários menores de idade. “Para menores de 18 anos, faremos alterações em nossos modelos que são projetadas para reduzir a probabilidade de encontrar conteúdo sensível ou sugestivo”, disse.
A Google se defendeu, dizendo que não está envolvida no desenvolvimento do Character.AI. Nenhum dos réus se apresentou ao tribunal até o momento.