Por que a IA alucina: OpenAI explica a causa raiz das confabulações de redes neurais

Uma equipe de pesquisa da OpenAI publicou uma investigação detalhada sobre por que modelos de linguagem como o ChatGPT às vezes inventam fatos com confiança. As descobertas apontam para uma falha fundamental em como esses modelos são treinados e testados — um sistema que recompensa o palpite em vez de admitir a falta de conhecimento.

Os pesquisadores usam uma analogia convincente: um estudante fazendo um exame de múltipla escolha. Se uma resposta em branco pontua zero, mas um palpite tem pelo menos alguma chance de estar certo e pontuar um ponto, a escolha racional é sempre adivinhar. O mesmo é verdade para a IA. Referências padrão como MMLU (Massive Multilingual Language Understanding) operam em um sistema de pontuação binária certo/errado. Um modelo que diz "eu não sei" falha automaticamente, enquanto um que assume um risco e adivinha às vezes está correto. Isso, em essência, ensina os algoritmos a blefar.

Esse comportamento problemático começa durante a fase inicial de pré-treinamento em vastos conjuntos de dados de texto. Alguns fatos, especialmente os obscuros, são estatisticamente quase impossíveis de prever com absoluta certeza. No entanto, o padrão de "palpite" se torna firmemente enraizado mais tarde, quando os desenvolvedores ajustam o modelo para se destacar em testes que priorizam altas pontuações de precisão acima de tudo.

Em seu estudo, a OpenAI propõe uma mudança na forma como avaliamos o desempenho da IA. Os autores sugerem que os modelos devem ser severamente penalizados por falsidades confiantes, mas receber crédito parcial por expressar corretamente incerteza ou dizer "eu não sei." Isso redirecionaria a corrida de desenvolvimento de criar os modelos "mais inteligentes" para construir assistentes mais confiáveis e verdadeiros.

Especialistas enfatizam que essas alucinações não são um erro místico, mas uma questão sistêmica bem compreendida. Mesmo os modelos modernos mais avançados não são imunes. Repensar nossos sistemas de avaliação pode ser a chave para construir uma IA que tenha uma melhor compreensão dos limites de seu próprio conhecimento.