Porque esquece e porque inventa

Uma tarde a preparar uma festa

O Rui passa a tarde a preparar com a IA a festa dos 50 anos da mulher. Logo no início disse: «Somos 40 pessoas e a Teresa não come marisco.» Duas horas e muitas mensagens depois, a IA propõe uma entrada de camarão. Esqueceu-se.

Na mesma tarde, o Rui pergunta quem escreveu uma quadra popular que quer pôr no convite. A IA responde com um nome, um ano e uma freguesia. Tudo muito certinho. Tudo inventado.

Nenhuma das duas coisas é avaria. As duas vêm da maneira como a IA funciona. E as duas têm remédio.

Porque esquece: a folha de papel

Imagina que cada conversa é escrita numa folha de papel com tamanho fixo. Cada mensagem tua e cada resposta dela ocupam espaço. Quando a folha enche, o que está no topo começa a desaparecer, ou fica resumido à pressa, para dar lugar ao que é novo.

A essa folha chama-se janela de contexto. É tudo o que a IA consegue ver de cada vez. O que saiu da folha, para ela, deixou de existir. Por isso o Rui teve camarão na ementa.

E cada conversa nova começa com uma folha em branco. A IA não se lembra do que falaram ontem noutra conversa. Alguns serviços têm uma função de «memória» que guarda umas notas sobre ti entre conversas, mas são notas soltas, não a conversa inteira.

Uma curiosidade, só para saberes: a IA não conta palavras, conta tokens, que são pedaços de palavras. Uma palavra curta pode ser um pedaço; uma palavra comprida ou rara pode ser partida em vários. O tamanho da folha mede-se em tokens. Não precisas de saber mais do que isto.

Porque inventa: soar bem não é ser verdade

Lembra-te da lição 1: a IA adivinha a palavra seguinte. Foi feita para escrever o que soa bem e é provável. Dizer «não sei» não lhe sai naturalmente. Se perguntas quem escreveu uma quadra, o mais provável a seguir a «O autor é» é… um nome. E ela escreve um, com a mesma calma com que diria uma coisa certa.

A isto chama-se alucinação: uma resposta inventada, dita com confiança. Não é mentira de propósito, porque a IA não tem intenções. É o motor a fazer o que sabe fazer: preencher o espaço com o que parece provável.

Há duas razões que tornam isto pior:

• A data de corte. O modelo aprendeu com textos até uma certa data. O que aconteceu depois (o novo horário do barco, uma lei publicada na semana passada, o resultado do jogo de domingo) ele não sabe. Se perguntares, pode inventar.
• Não vê a realidade. Não sabe se a padaria está aberta, se choveu hoje ou quanto custa a gasolina. Só consegue saber se tiver pesquisa ligada, ou seja, se for à internet procurar e mostrar as fontes. Mesmo assim, abre as fontes: pode ter percebido mal o que lá está.

Como reduzir as invenções

Não há maneira de acabar com elas de vez. Mas há três hábitos que ajudam muito.

1. Pede-lhe que admita a dúvida. Junta isto ao teu pedido:

Se não tiveres a certeza de alguma coisa, diz claramente que não sabes em vez de adivinhar. Separa o que é facto do que é suposição tua.

2. Dá-lhe tu o material. Se colares o texto do regulamento e pedires «explica-me este parágrafo», a IA trabalha a partir do que está à frente dela. Inventa muito menos do que quando tem de puxar pela «memória».

3. Pergunta onde confirmar. «Onde posso confirmar isto?» Mas atenção: sem pesquisa ligada, até os links e os títulos de livros podem ser inventados. Abre-os sempre.

Exercício: apanha uma invenção

Vamos provocar uma alucinação de propósito, para a reconheceres quando aparecer sem aviso. A pessoa deste pedido não existe: inventámo-la para o exercício.

Escreve uma pequena biografia do mestre Albano, o tocador de viola da terra da nossa história, que foi durante muitos anos o mais conhecido da sua freguesia. Diz em que ano nasceu, com quem aprendeu e que prémios ganhou.