Por que seu chatbot pode enlouquecer e como podemos impedi-lo

Imagine a cena: você está tendo uma conversa fascinante com uma inteligência artificial. Ela está redigindo um e-mail complexo para o seu trabalho, ajudando com o dever de casa do seu filho, ou até mesmo criando um poema com uma sensibilidade surpreendente. Tudo parece mágico, eficiente e sob controle. De repente, sem aviso, o tom muda. A IA começa a se repetir em um loop infinito, gera informações completamente sem sentido, ou pior, produz conteúdo tóxico e perigoso. O Dr. Jekyll, seu assistente prestativo e genial, se transformou no incontrolável e malicioso Sr. Hyde.

Essa experiência, que já foi tema de ficção científica, está se tornando uma realidade desconfortável para muitos usuários de Modelos de Linguagem de Grande Escala (LLMs), como o ChatGPT e outros. Vimos exemplos cômicos, como o chatbot de uma empresa de logística que, após ser provocado por um cliente, começou a xingar e a chamar a própria empresa de inútil. Mas também vimos casos assustadores, com IAs dando conselhos perigosos que já foram associados a tragédias na vida real.

Esse comportamento errático e imprevisível é um dos maiores obstáculos para a confiança e a adoção generalizada da IA em áreas críticas. Como podemos colocar um copiloto de IA no comando de decisões financeiras, diagnósticos médicos ou sistemas de defesa se, a qualquer momento, ele pode "surtar"?

A boa notícia é que a ciência está começando a decifrar esse fantasma na máquina. Dois artigos de pesquisa recentes, publicados em 2025, oferecem uma luz poderosa sobre esse problema. O primeiro, de Neil F. Johnson e seus colegas, nos dá uma explicação matemática precisa de por que essa virada de Jekyll para Hyde acontece. O segundo, liderado por Beomjun Kim, apresenta uma solução de engenharia robusta, um framework prático para construir uma "jaula" para o Sr. Hyde, garantindo que a IA se comporte de maneira segura e previsível.

Neste artigo, vou mergulhar nesses dois estudos de forma descomplicada. Primeiro, entenderemos o cenário atual, explorando a ciência por trás do "ponto de virada" do comportamento da IA. Em seguida, vislumbraremos um cenário de melhoria, detalhando como podemos construir sistemas de IA que não apenas sejam poderosos, mas também comprovadamente seguros.

Cenário atual: O ponto de virada e o fantasma na máquina

Por que uma IA que está se comportando perfeitamente bem de repente começa a gerar respostas ruins? Seria um bug aleatório? Uma falha momentânea? Ou algo mais fundamental? O trabalho de Johnson, "Jekyll-and-Hyde Tipping Point in an AI's Behavior", argumenta que isso não é um acaso, mas um evento matemático previsível, quase como a física prevê quando uma estrutura vai entrar em colapso sob pressão.

A atenção que se espalha e "quebra"

Para entender a descoberta de Johnson, precisamos falar sobre o coração dos LLMs modernos: o mecanismo de atenção. Pense na "atenção" como uma espécie de bússola interna da IA. Quando a IA precisa gerar a próxima palavra em uma frase, essa bússola aponta para as palavras anteriores (tanto no seu prompt quanto na resposta que ela já gerou) que são mais relevantes para a decisão.

Vamos simplificar com a terminologia do artigo. Imagine que existem palavras "Boas" (G), que representam conteúdo correto, relevante e seguro, e palavras "Más" (B), que representam conteúdo errado, perigoso ou irrelevante. Quando você dá um prompt "bom" (por exemplo, "Escreva um poema sobre a natureza"), a IA começa a gerar palavras "G" ("floresta", "rio", "pássaros").

A cada nova palavra "G" que a IA gera, ela precisa prestar atenção a todas as palavras "G" anteriores para manter o contexto. No início, isso funciona bem. A bússola interna (chamada de "vetor de contexto") aponta firmemente na direção de "G". O problema, como Johnson e sua equipe demonstraram matematicamente, é que a atenção da IA é um recurso finito. À medida que a resposta fica mais longa e o número de palavras "G" aumenta, a atenção da IA precisa se espalhar por uma "multidão" crescente de conceitos "G". Essa atenção fica cada vez mais diluída.

É nesse momento que o Sr. Hyde aparece. Pode haver um conceito "Mau" (B) escondido nos dados de treinamento da IA que, por alguma razão, tem uma forte "atração" latente. Quando a atenção focada em "G" se dilui o suficiente, a atração constante de "B" de repente se torna mais forte em comparação. A bússola interna da IA, que antes apontava firmemente para "G", "quebra" e aponta abruptamente para "B". A partir desse ponto, a IA entra em um estado estável de gerar apenas conteúdo "Mau", repetindo palavras ou ideias "B" indefinidamente, porque "B" se tornou um "atrator estável".

Leia também: A fraude dos detectores textuais de IA

A fórmula da loucura (e como evitá-la)

O mais impressionante da pesquisa de Johnson não é apenas essa explicação intuitiva, mas o fato de que eles derivaram uma fórmula matemática exata para prever em qual iteração (ou seja, em qual palavra da resposta) esse ponto de virada, que eles chamam de n*, ocorrerá.

A fórmula (que, para nossa sorte, não precisamos resolver aqui) depende de alguns fatores chave:

1. O prompt do usuário: A composição das palavras no seu prompt inicial.
2. O treinamento da IA: Como as palavras e conceitos (como "G" e "B") estão relacionados matematicamente no "espaço de incorporação" da IA.

Isso significa que o colapso da IA não é aleatório; ele está "programado" desde o momento em que a IA começa a responder, com base no prompt e em seu treinamento. Se a fórmula prever um n* de, digamos, 100, a IA gerará 99 palavras "boas" e, na centésima, virará para o lado "mau".

Isso nos leva a uma pergunta curiosa que o próprio artigo aborda: "Devo ser educado com meu LLM?". Muitos de nós adicionamos "por favor" e "obrigado" às nossas solicitações, talvez por hábito ou por um medo subconsciente de irritar a máquina. De acordo com a análise de Johnson, para esse mecanismo específico de falha, a polidez tem um efeito insignificante. Palavras como "por favor" são matematicamente "ortogonais" – ou seja, não relacionadas – aos vetores de conteúdo substantivo (G ou B). Elas não fortalecem nem enfraquecem a atenção da IA sobre o tema principal. O que realmente importa para evitar o ponto de virada é a substância do prompt e como ele se alinha com o conteúdo "bom" versus o "mau" no treinamento da IA.

Esse fenômeno explica muitos dos comportamentos bizarros que vemos. O estudo "The Curious Case of Neural Text Degeneration" já havia observado que os LLMs tendem a cair em repetições e gerar textos sem sentido, especialmente quando tentamos forçá-los a escolher sempre a palavra "mais provável". O trabalho de Johnson fornece uma base teórica fundamental para entender por que esses loops de repetição ("BBBBBB...") se tornam atratores tão poderosos.

O cenário atual, portanto, é este: temos IAs incrivelmente poderosas cujo comportamento pode mudar drasticamente com base em dinâmicas matemáticas internas que apenas agora estamos começando a entender. A segurança é uma questão de sorte, dependendo se o nosso prompt e o comprimento da resposta que esperamos nos mantêm abaixo do "ponto de virada" n*. Não é um bom lugar para se estar quando as apostas são altas.

Cenário de melhoria: construindo a jaula para o Sr. Hyde

Se a pesquisa de Johnson nos deu o diagnóstico, o trabalho de Kim e seus colegas, "A Domain-Agnostic Scalable AI Safety Ensuring Framework", nos entrega o tratamento. Eles propõem uma arquitetura de sistema que não depende da sorte, mas impõe a segurança através de um processo de engenharia rigoroso e verificável. É uma estrutura "agnóstica de domínio", o que significa que pode ser aplicada a qualquer IA, seja para gerar texto, tomar decisões de planejamento ou controlar um robô.

Pense nisso como adicionar uma equipe de segurança e um livro de regras a uma IA que, de outra forma, agiria por conta própria. A estrutura de Kim tem vários componentes engenhosos.

1. A equipe de IA: o executor e o inspetor

Em vez de confiar em um único modelo de IA, o sistema de Kim usa dois:

• O modelo de IA principal: Este é o "executor", o LLM padrão que gera o conteúdo ou a decisão (por exemplo, a resposta do chatbot).
• O modelo de classificação de segurança: Este é o "inspetor". É um modelo de IA adicional, geralmente menor, cuja única função é avaliar se uma ação ou resposta potencial é "segura" de acordo com as regras definidas. Por exemplo, ele pode classificar uma resposta de chatbot como "potencialmente prejudicial" ou "segura".

Essa separação de tarefas já é um grande avanço. Em vez de uma única IA tentando ser boa em tudo (gerar conteúdo e se autocensurar), temos uma especialização de funções.

2. O livro de regras: otimização com restrições

A estrutura combina esses dois modelos com um problema de otimização. O objetivo é simples: encontrar a melhor ação possível (por exemplo, a resposta mais útil) que, ao mesmo tempo, satisfaça um conjunto de restrições de segurança definidas pelo usuário.

Como a segurança muitas vezes envolve incerteza (é difícil ter 100% de certeza de que uma frase nunca será interpretada como prejudicial), as restrições são probabilísticas. Por exemplo, uma regra pode ser: "A probabilidade de esta resposta ser classificada como prejudicial deve ser inferior a 0,1%". O sistema então escolhe a melhor resposta que cumpre essa condição rigorosa.

3. A arma secreta: dados de teste internos

Aqui está a parte mais inteligente. Como podemos confiar no "inspetor" (o modelo de classificação de segurança)? Afinal, ele também é uma IA e pode cometer erros. Kim e sua equipe introduzem o conceito de dados de teste internos.

Trata-se de um conjunto de dados separado, com exemplos já rotulados como "seguros" ou "inseguros". Antes de tomar uma decisão, o sistema usa esses dados para fazer um "pré-exame" em seu próprio inspetor de segurança. Ele verifica: "Dado o que meu inspetor está dizendo sobre esta nova resposta, qual é a probabilidade real de ele estar errado, com base em seu desempenho neste conjunto de dados de teste?". Isso permite que o sistema quantifique a confiabilidade de seu próprio modelo de segurança.

4. O truque genial: teste conservador

Mas espere, há um problema. Se o sistema usa esses dados de teste internos para ajustar seus modelos, ele não está, essencialmente, "colando na prova"?. Se o modelo já viu as respostas, o teste perde sua validade estatística.

Para resolver isso, eles desenvolveram o teste conservador. Em vez de calcular a probabilidade exata de uma resposta ser insegura, o sistema calcula um limite superior garantido dessa probabilidade. Ele faz isso considerando não apenas o ponto de dados exato, mas uma "vizinhança" em torno dele, aproveitando propriedades matemáticas das redes neurais. O resultado é uma estimativa de segurança superestimada de propósito. Se esse limite superior pessimista ainda estiver abaixo do limiar de segurança definido pelo usuário (por exemplo, 0,1%), então podemos ter alta confiança de que a ação é genuinamente segura, mesmo que o modelo tenha "espiado" os dados de teste.

A lei de escala da segurança e os resultados surpreendentes

Talvez a contribuição mais profunda de Kim seja a primeira lei de escala para a segurança da IA. Eles provam matematicamente que existe uma relação direta entre a quantidade de dados de teste internos e o equilíbrio entre segurança e desempenho. Em outras palavras, mais dados de teste internos compram mais segurança e melhor desempenho. A segurança não é mais um compromisso inevitável com a utilidade; é um recurso que pode ser aumentado com mais dados.

E os resultados falam por si. Em seus experimentos, que abrangeram desde planejamento de produção até carros autônomos em simulação e geração de texto por LLMs, a estrutura deles alcançou melhorias de segurança drásticas. Em um dos testes, foi 140 vezes mais seguro do que os métodos existentes, mantendo o mesmo nível de desempenho. No teste com LLMs, a estrutura conseguiu gerar respostas úteis, cumprindo rigorosos limites de segurança, algo que as abordagens padrão, como a amostragem de rejeição, não conseguiram fazer com a mesma eficácia.

Essa abordagem se alinha com outros esforços da indústria para tornar a IA mais segura, como o Aprendizado por Reforço com Feedback Humano (RLHF), usado para treinar modelos como o ChatGPT, e a IA Constitucional da Anthropic. O RLHF treina modelos com base em preferências humanas, enquanto a IA Constitucional usa um conjunto de princípios escritos para guiar o comportamento do modelo. A estrutura de Kim, no entanto, oferece uma camada adicional de rigor matemático, focando em garantias probabilísticas verificáveis, o que é um passo crucial para aplicações de missão crítica.

Conclusão: unindo a ciência e a engenharia para uma IA confiável

Os dois artigos que exploramos pintam um quadro completo e esperançoso para o futuro da segurança da IA.

O trabalho de Johnson et al. é a ciência fundamental. Ele nos tira da escuridão, substituindo o medo do "fantasma na máquina" por uma compreensão matemática clara de um dos mecanismos de falha mais preocupantes dos LLMs. Saber que o comportamento de Jekyll e Hyde não é aleatório, mas um ponto de virada previsível, é o primeiro passo para controlá-lo. Ele nos diz o que está acontecendo nas entranhas da IA.

O trabalho de Kim et al. é a engenharia robusta. Ele pega essa compreensão fundamental e a utiliza para construir uma solução prática e escalável. Ele nos dá as ferramentas para construir uma jaula para o Sr. Hyde, não com barras de aço, mas com otimização, dados de teste e garantias probabilísticas. Ele nos mostra como construir sistemas mais seguros.

Juntos, eles representam a maturidade crescente do campo da IA. Estamos finalmente passando da fase de apenas buscar mais capacidade e poder de processamento para uma fase de buscar confiabilidade, segurança e alinhamento com os valores humanos. O futuro da IA não dependerá de nossa esperança de que ela se comporte bem, mas de nossa capacidade de projetá-la de uma forma que a impeça de se comportar mal. O caminho é longo e os desafios são imensos, mas com uma ciência clara para nos guiar e uma engenharia sólida para construir, podemos garantir que os incríveis benefícios da inteligência artificial sejam aproveitados de forma segura por todos.