Golden Dataset: criando uma prova para sua IA

Mudar um prompt, trocar o modelo, ajustar a estratégia de chunking: qualquer uma dessas mudanças pode melhorar um caso específico e piorar silenciosamente outros dez que ninguém está observando no momento. Sem alguma forma de comparação sistemática, cada mudança em produção vira aposta, avaliada só pela sensação de “parece que ficou melhor”.

O que é um Golden Dataset, na prática

Um Golden Dataset é um conjunto de exemplos, cada um formado por uma pergunta, o contexto (ou fonte) ideal que deveria embasar a resposta, e a resposta esperada, revisados e aprovados por uma pessoa, funcionando como verdade de referência para aquele domínio específico. É, essencialmente, uma suíte de testes de regressão para um sistema de IA, com a diferença de que a “asserção” não é uma comparação exata de string, e sim uma avaliação de qualidade sobre o quão perto a resposta obtida chegou da resposta esperada.

{
  "pergunta": "Qual o prazo de garantia legal de um produto eletrônico no Brasil?",
  "contexto_esperado": ["Código de Defesa do Consumidor, Art. 26, inciso II"],
  "resposta_esperada": "90 dias para produtos duráveis, contados a partir da entrega."
}

Cada exemplo assim funciona como uma pergunta de prova: existe uma resposta certa, verificada por alguém que sabe do assunto, contra a qual qualquer resposta nova pode ser comparada.

Por que revisão humana não é opcional aqui

A confiabilidade inteira do Golden Dataset depende de a resposta esperada estar, de fato, correta. Se ninguém revisou aquele exemplo com cuidado, o dataset não está medindo se o sistema acerta, está medindo se o sistema concorda com um erro que já estava lá desde a criação do exemplo. Por isso, construir esse conjunto exige tempo de alguém com conhecimento real do domínio, não só volume de exemplos gerados automaticamente sem verificação.

As métricas que decidem “quão perto” é perto o suficiente

Comparar resposta obtida com resposta esperada raramente é uma questão de igualdade exata de texto, então a avaliação normalmente se apoia em métricas específicas:

Groundedness (ou faithfulness) mede se a resposta gerada está apoiada no contexto fornecido, sem inventar informação que não estava presente ali. Uma resposta pode até estar correta por coincidência, mas se ela não decorre do contexto recuperado, é sinal de que o sistema está mais perto de adivinhar do que de responder com base em fonte real.

Relevância da resposta mede se a resposta realmente atende à pergunta feita, independente de estar bem fundamentada no contexto. Uma resposta fiel ao contexto e completamente fora do assunto perguntado ainda é uma resposta ruim.

Precisão e recall de contexto avaliam a etapa de busca isoladamente: entre os trechos recuperados, quantos eram realmente relevantes (precisão), e do total de trechos relevantes que existiam na base, quantos foram efetivamente recuperados (recall). Isso ajuda a identificar se um problema está na busca ou na geração, em vez de tratar o sistema inteiro como uma caixa preta única.

Cobertura importa mais que quantidade

Um Golden Dataset com muitos exemplos parecidos entre si testa a mesma coisa repetidamente, sem revelar mais informação do que testar uma única vez. O valor está em cobrir variedade real de cenário: perguntas diretas, perguntas ambíguas, perguntas sobre informação que não existe na base (para verificar se o sistema admite não saber, em vez de inventar), perguntas que exigem combinar informação de mais de uma fonte. Cada categoria dessas revela um tipo diferente de falha potencial, que um conjunto homogêneo de exemplos simplesmente não captura.

O dataset evolui junto com o sistema

Um Golden Dataset criado uma vez e nunca mais revisado perde relevância conforme o sistema muda: novos tipos de pergunta aparecem no uso real, casos que antes eram raros passam a ser comuns, informação da base de conhecimento muda de forma que a resposta esperada de um exemplo antigo deixa de ser válida. Tratar o dataset como algo vivo, revisado e ampliado periodicamente, é o que mantém essa “prova” relevante para o sistema que ele está, de fato, avaliando.

Antes de subir qualquer mudança

Rodar o Golden Dataset inteiro contra a versão nova do sistema, comparando os resultados com a versão anterior nos mesmos exemplos, é o que transforma “acho que melhorou” em “melhorou nesses casos específicos e piorou nesses outros, que também importam”. Sem essa comparação, qualquer mudança em produção continua sendo, na prática, uma aposta feita às cegas sobre o que ninguém está olhando.