Hugo Gloss

Mãe acusa IA de levar seu filho a se matar e processa empresas; adolescente conversava com “Daenerys Targaryen”

Foto: Social Media Victims Law Center / Reprodução/character.ai

Um adolescente de 14 anos morreu após se tornar obcecado por um chatbot alimentado por inteligência artificial. Agora, a mãe do jovem está processando os criadores da ferramenta, alegando que eles foram “cúmplices” da morte.

Sewell Setzer III, de 14 anos, tirou a própria vida em fevereiro deste ano, em Orlando, na Flórida. Segundo sua mãe, Megan Garcia, o jovem utilizou o Character.AI — uma plataforma criada por um brasileiro que utiliza inteligência artificial para simular conversas com personagens fictícios ou reais — “dia e noite” nos meses que antecederam a tragédia.

Nesta quarta-feira (23), meses após o ocorrido, Megan ajuizou uma ação civil contra a Character.AI e seus fundadores, Daniel Freitas e Noam Shazeer, no tribunal federal da Flórida. No processo, ela acusa a empresa de negligência, homicídio culposo e práticas comerciais enganosas.

Em um comunicado, Garcia criticou a ferramenta e seus criadores: “Um perigoso aplicativo de chatbot de IA comercializado para crianças abusou e atacou meu filho, manipulando-o para tirar a própria vida. Nossa família foi devastada por esta tragédia, mas estou falando para alertar as famílias sobre os perigos da tecnologia de IA enganosa e viciante e exigir responsabilidade da Character.AI, de seus fundadores e do Google”.

Segundo relatos de Megan, Setzer ficou “viciado” em um chatbot do Character.AI que ele apelidou de Daenerys Targaryen, personagem de “Game of Thrones”, interpretada por Emilia Clarke. Diariamente, o adolescente trocava dezenas de mensagens com o bot e passava horas sozinho em seu quarto conversando com ele.

Adolescente tinha conversas com Daenerys Targaryen através da Inteligência Artificial. (Foto: Divulgação/ HBO)

“‘Daenerys’ a certa altura perguntou a Setzer se ele tinha um plano para se matar. Setzer admitiu que sim, mas ‘não sabia se teria sucesso ou se lhe causaria grande dor’. O chatbot supostamente disse a ele: ‘Isso não é motivo para não prosseguir com isso'”, alegou a denúncia.

Garcia acusa a Character.AI de ter criado um produto que “agravou a depressão de seu filho”, que ela diz ter se desenvolvido devido ao uso excessivo da plataforma.

Em nota, a defesa de Garcia destacou que a Character.AI “projetou, operou e comercializou conscientemente um chatbot de IA predatório para crianças, resultando na morte de um jovem”. O processo também inclui o Google como réu, alegando que a empresa é controladora da plataforma de inteligência artificial.

Após a repercussão do caso, a Character.AI se manifestou nas redes sociais, lamentando a morte de Sewell. “Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família. Como empresa, levamos muito a sério a segurança dos nossos usuários e continuamos a adicionar novos recursos de segurança”, disse a companhia, que negou as alegações pontuadas no processo.

Também apontado como réu no processo, o Google declarou em comunicado que apenas firmou um acordo de licenciamento com a Character.AI, ressaltando que não é proprietária da startup nem possui participação acionária.

Sair da versão mobile