Lição 3 de 6 · 14 min · Conteúdo de conceito, não envelhece
Avaliar a qualidade: testes cegos e rubricas
No fim desta lição vais conseguir:
- Montar um teste cego para comparar duas ferramentas, ou dois pedidos, na mesma tarefa
- Escrever uma rubrica de 3 a 5 critérios com nota de 1 a 5
- Usar a IA para criticar uma resposta com a rubrica, sem a deixar ser a juíza final
- Explicar porque é que os testes públicos não substituem um teste com o teu trabalho
Duas ferramentas, uma loja
A Sofia tem uma loja online de queijo e doces regionais. Recebe uns vinte emails de clientes por semana: atrasos, encomendas trocadas, pedidos de factura. Usa uma ferramenta de IA para os rascunhos das respostas. Um amigo jura que outra é «muito melhor». Um anúncio garante que é uma terceira.
Quem tem razão? Ninguém sabe, porque ninguém testou com os emails da Sofia. Esta lição ensina a fazer esse teste numa tarde, sem saber nada de técnica.
O conceito: mesma tarefa, sem nomes, com critérios
Um teste justo tem quatro peças:
- A mesma tarefa para as duas ferramentas, ou para dois pedidos diferentes na mesma ferramenta.
- Respostas sem nome. Chamas-lhes A e B. Quem avalia não sabe qual é qual.
- Uma rubrica: critérios escritos antes de ler as respostas.
- Uma terceira pessoa a pontuar. Tu já tens preferências; ela não.
A isto chama-se teste cego. É o princípio das provas de vinho às cegas: o rótulo fica escondido para não mandar no gosto.
A rubrica: 3 a 5 critérios, notas de 1 a 5
Para os emails da Sofia, quatro critérios chegam:
- Correcto: não inventa prazos, preços nem regras que a loja não tem.
- Resolve: responde ao que o cliente perguntou e diz qual é o próximo passo.
- Tom: educado e caloroso, sem exageros nem frases feitas.
- Português: português de Portugal, sem erros.
Para cada critério, escreve o que vale um 1, um 3 e um 5. Por exemplo, em «Correcto»: 1 = inventa uma regra da loja; 3 = vago, mas sem erros; 5 = tudo bate certo com as regras da loja.
Dica
Escreve a rubrica antes de ver as respostas. Se a escreves depois, sem dar por isso escolhes os critérios em que a tua preferida ganha.
Como montar o teste, passo a passo
- Escolhe 5 emails reais e variados: um fácil, três médios, um difícil (o cliente zangado). Tira nomes, moradas e números de encomenda, como aprendeste no Nível 1.
- Usa o mesmo pedido nas duas ferramentas, palavra por palavra, cada vez numa conversa nova.
- Copia as respostas para um documento. Em cada email, baralha a ordem: umas vezes a ferramenta 1 é a A, outras é a B. Guarda a chave num papel à parte.
- Tira o que denuncia a origem: formatação especial, aberturas do tipo «Claro! Aqui está…».
- Dá o documento e a rubrica a uma terceira pessoa. Pede uma nota de 1 a 5 em cada critério e uma frase a justificar cada 1 ou 2.
- Fecha as notas: a partir daqui ninguém mexe nelas. Só agora abres a chave e, em cada email, marcas qual das respostas (A ou B) veio de cada ferramenta. Soma por ferramenta, não por letra: a letra muda de email para email.
Exemplo
No teste da Sofia, a ferramenta que o amigo elogiava teve melhor tom, mas inventou duas vezes um «prazo de devolução de 30 dias» que a loja não tem. A outra foi mais seca, mas nunca inventou. Numa loja, «Correcto» pesa mais do que «Tom». A Sofia ficou com a segunda e acrescentou ao pedido uma linha a pedir mais calor humano.
O teste não serve só para escolher ferramentas. Serve também para comparar dois pedidos na mesma ferramenta. Muitas vezes, melhorar o pedido vale mais do que mudar de ferramenta.
A IA como crítica, não como juíza
Podes pedir à própria IA que critique uma resposta com a tua rubrica:
Avalia a resposta abaixo com esta rubrica. Sê exigente.
Critérios (nota de 1 a 5): Correcto, Resolve, Tom, Português de Portugal.
Para cada critério: a nota, uma frase a justificar e uma sugestão concreta para melhorar.
No fim, reescreve a resposta com as melhorias.
Regras da loja: [cola aqui]
Resposta a avaliar: [cola aqui]
É útil para melhorar um rascunho. Mas não a uses como juíza final: tende a ser simpática com o próprio trabalho e às vezes dá nota alta a uma resposta com erros que ela própria não vê. A nota que decide é a de uma pessoa.
Cuidado
As ferramentas mudam de mês para mês: sai um modelo novo, há uma actualização silenciosa. O teu teste vale para hoje. Guarda os 5 emails, o pedido e a rubrica numa pasta: repetir o teste daqui a seis meses leva meia hora.
E os testes públicos?
Quando sai um modelo novo, aparecem tabelas com nomes de testes e pontuações. Chamam-se benchmarks. Medem coisas como exames de matemática, problemas de programação ou perguntas de cultura geral, quase sempre em inglês. Servem para os técnicos compararem modelos entre si.
Mas não medem o teu trabalho. Nenhum benchmark sabe se a resposta ao senhor que encomendou queijo e recebeu doce de amora soa bem a um cliente da Terceira. E quem anuncia escolhe os testes em que fica bem na fotografia. O teu teste, com os teus emails, vale mais para ti do que qualquer tabela.
Dica
Para tarefas que repetes muito (respostas a clientes, fichas de trabalho, convocatórias), repete o teste uma vez por trimestre, ou sempre que alguém te disser que «a nova é muito melhor».
Exercício: o teu primeiro teste cego
Exercício
Como sei que ficou bem uma tabela com 5 linhas e os totais da ferramenta 1 e da ferramenta 2, e uma frase de decisão com data, do tipo «Para responder a clientes, a 6 de Outubro, usamos a ferramenta X com o pedido Y».
Se não deu
- Empate em tudo? Os critérios estão vagos. Torna-os mais concretos («diz o próximo passo, com data») e volta a pontuar.
- A pessoa adivinhou qual era qual? Ainda há marcas de origem. Passa as respostas a texto simples e tira as frases de abertura.
- Uma ferramenta recusou responder a um email? Isso conta: dá 1 em «Resolve» e anota o motivo.
- Não tens uma terceira pessoa? Pontua tu, mas deixa passar um dia e baralha outra vez antes de começar.
Vídeos
No troço indicado: como medir a qualidade de sistemas com IA e a ideia de usar um modelo como juiz (LLM as a Judge, G-Eval). A demonstração com código que se segue fica de fora.
IBM: usar um modelo como juiz para avaliar respostas de IA (avaliação directa e comparação par a par), incluindo vieses como o da verbosidade e o da posição.
Testa o que aprendeste
Correcções a esta lição (1)
- : Segunda revisão externa: as notas fecham-se antes de abrir a chave; depois liga-se cada resposta à sua ferramenta e soma-se por ferramenta, não por letra, porque a letra muda de email para email.