Como funciona por dentro: treino, embeddings e RAG

O balcão da junta

O senhor Jorge está há trinta anos ao balcão da junta de freguesia. Já leu tanto papel na vida que, se começas uma frase, ele adivinha como acaba. Mas quando lhe perguntas uma coisa concreta («quanto custa o atestado?»), não responde de cabeça: abre a gaveta, tira a tabela de taxas, lê, e só depois responde.

As ferramentas de IA que usas funcionam de uma maneira muito parecida. Perceber como ajuda-te a saber porque acertam, porque erram e como pôr os teus documentos a trabalhar a teu favor.

Treino: ler quase tudo e adivinhar a palavra seguinte

No Nível 1 viste que a IA adivinha a palavra seguinte. É isso que aprende no treino. O modelo lê uma quantidade enorme de texto (páginas da internet, livros, artigos) e, frase a frase, tenta adivinhar a palavra que vem a seguir. Quando falha, ajusta-se um bocadinho. Isto repete-se um número de vezes difícil de imaginar.

É como o jogo dos provérbios: «Grão a grão enche a galinha o…». Dizes «papo» porque já ouviste aquilo muitas vezes. O modelo fez o mesmo com quase tudo o que está escrito. Por isso sabe gramática, factos comuns e estilos de escrita. E por isso também repete os erros e os preconceitos que encontrou nos textos.

Afinação: aulas extra

Depois do treino, o modelo sabe continuar texto, mas ainda não é um bom assistente. Vem a afinação: aulas extra com exemplos de perguntas e de boas respostas, escritos por pessoas. Depois, pessoas comparam duas respostas e escolhem a melhor, e o modelo aprende com essas escolhas.

É a afinação que o torna educado, que o faz responder em vez de só continuar a tua frase, e que o leva a recusar alguns pedidos. Mas repara: nem o treino nem a afinação lhe ensinam os teus documentos. O horário da tua junta não está lá.

Embeddings: um mapa de frases

Para trabalhar com os teus documentos, a ferramenta precisa de os encontrar depressa. Para isso usa embeddings.

Imagina um mapa enorme. Cada frase vira um ponto nesse mapa, e frases com o mesmo sentido ficam perto, mesmo com palavras diferentes:

• «A que horas abre a padaria?» fica mesmo ao lado de «Qual é o horário da padaria?».
• «O pão subiu de preço» fica no mesmo bairro, um pouco mais longe.
• «O barco para o Pico foi cancelado» fica na outra ponta do mapa.

Quando fazes uma pergunta, ela também vira um ponto. A ferramenta procura os pontos dos teus documentos que estão mais perto. É uma procura pelo sentido, não pelas palavras exactas.

RAG: ir à gaveta antes de responder

Junta tudo e tens o RAG, sigla inglesa de «geração aumentada por recuperação». Funciona em três passos:

1. Preparar: a ferramenta parte os teus documentos em pedaços e põe cada pedaço no mapa.
2. Ir buscar: quando perguntas, encontra os pedaços mais perto da tua pergunta.
3. Ler e responder: junta esses pedaços à tua pergunta e só então escreve a resposta.

É o senhor Jorge a abrir a gaveta. E é isto que fazem os projectos e as bases de conhecimento que usaste no Nível 2: carregas o regulamento, as perguntas frequentes ou o manual, e a ferramenta vai lá antes de responder. Quando os documentos são poucos e pequenos, algumas ferramentas lêem-nos inteiros de cada vez; quando são muitos, vão buscar só os pedaços.

Porque continua a inventar (menos)

O RAG reduz muito as invenções, porque a IA responde com o papel à frente. Mas não as elimina:

• Traz o pedaço errado. Se há duas versões do regulamento, pode ler a antiga.
• Não encontra. A resposta está numa tabela digitalizada como fotografia, ou escrita de forma muito diferente da pergunta.
• Mistura. Junta o que leu com o que «sabe» do treino, sem dizer qual é qual.
• Lê mal. Resume à pressa e troca um número.

Exercício: pôr a gaveta à prova

Usa a função de projectos ou de documentos que aprendeste no Nível 2. Carrega um documento que conheças bem (o regulamento da associação, as regras da biblioteca, o manual de um aparelho) e cola estas instruções:

Responde só com base nos documentos deste projecto. Para cada resposta, diz de que documento e de que parte tiraste a informação. Se a resposta não estiver nos documentos, diz «não encontrei nos documentos» e não completes com o que sabes.