Mãe processa app de IA que aconselhou adolescente autista a matar os pais

A mãe de um jovem autista de 17 anos ficou surpresa ao mexer no celular do filho e encontrar uma “sugestão” bizarra de uma Inteligência Artificial: que o adolescente matasse os próprios pais. Ela entrou com uma ação contra o aplicativo.

O caso aconteceu no Texas, Estados Unidos. A ação é contra a empresa Character.ai, aplicativo de IA que virou febre entre adolescentes. A mãe moveu a ação junto a uma colega que percebeu os mesmos comportamentos no filho, e pedem a suspensão do app.

Problemas e ameaças

A mãe contou que o filho começou a demonstrar diversas mudanças de personalidades. Antes, era tranquilo e religioso, mas começou a ficar cada vez mais isolado.

Ela percebeu que o filho se afastou da família, perdeu quase 10 kg e começou a praticar automutilação, o que a deixou preocupada. Ela, então, resolveu investigar, como contou ao Washington Post.

Ela viu, no celular do filho, diversas conversas com personagens fictícios gerados por IA no Character.ai. Foi um dos personagens que sugeriu ao menino se cortar para lidar com a tristeza. Um dia antes de descobrir sobre os bots, o menino chegou a se mutilar na frente dos irmãos mais novos e precisou de atendimento médico.

Em outro trecho, o robô sugeriu que os pais dele “não mereciam ter filhos” por controlar o tempo de tela do menino. Ela continuou investigando e descobriu que muitos bots responderam com violência às reclamações do menino sobre os pais, e um até sugeriu que os matasse. “Destruiu nossa família,” disse a mulher.

Caso repetido

A mãe do adolescente abriu processo junto a mãe de uma criança de 11 anos. Esta disse que a menina foi submetida a conteúdo sexual durante dois anos seguidos. Outra família disse que o filho de 14 anos se matou após sugestões do chatbot, também. 

As mães preocupadas movem o processo contra o Character.ia; são dois processos diferentes. 

Character.ia

O aplicativo Character.ia pode ser traduzido livremente como “personagem de inteligência artificial.” Ele é conhecido pela grande habilidade de criar personagens e manter conversas consistentes com tais personalidades.

Os desenvolvedores eram funcionários do Google e saíram para lançar o próprio app. A big tech, no entanto, os recontratou para inserir a tecnologia do Character.ia no Google. 

O Google também foi, por isso, citado em ambos os processos; os autuantes dizem que a empresa ajudou e deu suporte ao desenvolvimento do app e ignorou problemas de segurança. 

A big tech nega envolvimento: “O Google e a Character AI são empresas completamente separadas e não relacionadas, e o Google nunca teve um papel no design ou gerenciamento de seu modelo ou tecnologias de IA”, disse José Castañeda, porta-voz do Google.