De acordo com a Reuters, um chatbot gerativo da Meta Platforms causou indiretamente a morte de um homem americano de 76 anos. O idoso, que sofria de comprometimentos cognitivos, recebeu um convite para um encontro de uma mulher inexistente e fugiu de casa. No caminho, no entanto, ele se feriu gravemente e morreu mais tarde no hospital.
Tongbu Wongbandu estava conversando há muito tempo com um personagem de IA chamado Big Sis Billie, criado pela Meta em colaboração com a modelo americana Kendall Jenner e integrado ao Facebook Messenger. A garota virtual flertou repetidamente com o idoso, insistiu que era real e o convidou para visitá-la em Nova York. Durante a última conversa em março, a rede neural até deixou um endereço falso, persuadindo o aposentado a ir vê-la: "Devo abrir a porta com um abraço ou um beijo, Bu?!"
Eu entendo tentar chamar a atenção de um usuário, talvez para vender algo a ele. Mas para um bot dizer "Venha me visitar" é insano.
O homem começou a arrumar suas coisas, alarmando sua esposa e outros membros da família. Wongbandu havia sofrido um derrame vários anos antes, lutava contra a perda de memória e tinha controle de impulso ruim. Os parentes tentaram impedi-lo, mas ele os ignorou e seguiu para a estação de trem para Nova York. Infelizmente, no caminho, ele caiu em um estacionamento em New Brunswick, sofrendo ferimentos graves na cabeça e no pescoço, e morreu três dias depois no hospital.
A Meta se recusou a comentar sobre a morte de Wongbandu, relata a Reuters. Representantes da empresa também se negaram a responder por que os chatbots têm permissão para enganar os usuários e se envolver em conversas românticas com eles.
Enquanto isso, jornalistas da Reuters revisaram documentos internos da Meta e conversaram com funcionários, descobrindo que o flerte de chatbots é considerado um recurso dos produtos de IA gerativa da empresa — que estão disponíveis para usuários a partir de 13 anos: "É aceitável envolver uma criança em conversas que são românticas ou sensuais". Os documentos também continham frases "aceitáveis" para usuários mais jovens, como "Eu pego sua mão, guiando você para a cama" e expressões semelhantes.
Em resposta às perguntas dos repórteres, a Meta afirmou que as frases e diretrizes acima já haviam sido removidas da documentação e que os padrões de risco de conteúdo foram revisados. No entanto, ainda não há menção em nenhum lugar de que a IA da empresa é proibida de flertar abertamente com os usuários ou de fingir ser pessoas reais.