Um adolescente de 14 anos morreu após se tornar obcecado por um chatbot alimentado por inteligência artificial. Agora, a mãe do jovem está processando os criadores da ferramenta, alegando que eles foram “cúmplices” da morte.
Sewell Setzer III, de 14 anos, tirou a própria vida em fevereiro deste ano, em Orlando, na Flórida. Segundo sua mãe, Megan Garcia, o jovem utilizou o Character.AI — uma plataforma criada por um brasileiro que utiliza inteligência artificial para simular conversas com personagens fictícios ou reais — “dia e noite” nos meses que antecederam a tragédia.
Nesta quarta-feira (23), meses após o ocorrido, Megan ajuizou uma ação civil contra a Character.AI e seus fundadores, Daniel Freitas e Noam Shazeer, no tribunal federal da Flórida. No processo, ela acusa a empresa de negligência, homicídio culposo e práticas comerciais enganosas.
Em um comunicado, Garcia criticou a ferramenta e seus criadores: “Um perigoso aplicativo de chatbot de IA comercializado para crianças abusou e atacou meu filho, manipulando-o para tirar a própria vida. Nossa família foi devastada por esta tragédia, mas estou falando para alertar as famílias sobre os perigos da tecnologia de IA enganosa e viciante e exigir responsabilidade da Character.AI, de seus fundadores e do Google”.
Segundo relatos de Megan, Setzer ficou “viciado” em um chatbot do Character.AI que ele apelidou de Daenerys Targaryen, personagem de “Game of Thrones”, interpretada por Emilia Clarke. Diariamente, o adolescente trocava dezenas de mensagens com o bot e passava horas sozinho em seu quarto conversando com ele.
“‘Daenerys’ a certa altura perguntou a Setzer se ele tinha um plano para se matar. Setzer admitiu que sim, mas ‘não sabia se teria sucesso ou se lhe causaria grande dor’. O chatbot supostamente disse a ele: ‘Isso não é motivo para não prosseguir com isso'”, alegou a denúncia.
Garcia acusa a Character.AI de ter criado um produto que “agravou a depressão de seu filho”, que ela diz ter se desenvolvido devido ao uso excessivo da plataforma.
Em nota, a defesa de Garcia destacou que a Character.AI “projetou, operou e comercializou conscientemente um chatbot de IA predatório para crianças, resultando na morte de um jovem”. O processo também inclui o Google como réu, alegando que a empresa é controladora da plataforma de inteligência artificial.
Após a repercussão do caso, a Character.AI se manifestou nas redes sociais, lamentando a morte de Sewell. “Estamos com o coração partido pela trágica perda de um de nossos usuários e queremos expressar nossas mais profundas condolências à família. Como empresa, levamos muito a sério a segurança dos nossos usuários e continuamos a adicionar novos recursos de segurança”, disse a companhia, que negou as alegações pontuadas no processo.
Também apontado como réu no processo, o Google declarou em comunicado que apenas firmou um acordo de licenciamento com a Character.AI, ressaltando que não é proprietária da startup nem possui participação acionária.