Benchmark de LLMs: o que aqueles números realmente significam?

Todo lançamento de modelo novo vem acompanhado de uma tabela mostrando ele na frente dos concorrentes em algum benchmark. É tentador ler isso como “esse modelo é melhor”, ponto final. O problema é que boa parte desses benchmarks já não mede mais o que se propunha a medir, e mesmo quando mede, isso não garante nada sobre a tarefa específica que alguém precisa resolver.

O que MMLU, GSM8K e HumanEval realmente avaliam

MMLU (Massive Multitask Language Understanding) testa conhecimento de múltipla escolha em 57 áreas diferentes, de direito a biologia. GSM8K reúne problemas de matemática do nível de ensino fundamental, exigindo raciocínio em várias etapas para chegar à resposta certa. HumanEval avalia geração de código, verificando se a solução escrita pelo modelo passa em um conjunto de testes automatizados para aquele problema específico.

Cada um mede uma habilidade relativamente estreita e bem definida. Nenhum deles mede, por exemplo, se um modelo segue instruções específicas de um domínio de negócio, se mantém consistência num fluxo de conversa longo, ou se erra menos numa tarefa que ninguém benchmarkou porque é específica demais para aparecer num conjunto de dados público.

Saturação: quando o benchmark para de discriminar

Um benchmark perde utilidade prática quando os modelos de ponta empatam perto do teto de pontuação possível. É o que aconteceu com MMLU, GSM8K e HumanEval: modelos de fronteira relatam pontuação acima de 90% nos três, valor bem próximo do limite prático de qualquer um deles, considerando inclusive erros de rotulagem já documentados nesses datasets. Quando todo mundo tira nota alta, uma diferença de um ou dois pontos deixa de indicar diferença real de capacidade e passa a refletir ruído estatístico.

Contaminação: quando o modelo já viu a prova

Um problema mais sério é a contaminação: parte do conteúdo de um benchmark, ou variações muito próximas dele, pode ter acabado dentro dos dados de treino do modelo, seja de forma direta (o benchmark é público e amplamente replicado na internet) seja indireta (discussões e soluções sobre aquelas questões específicas circulando em fóruns e repositórios). Estudos que removeram exemplos contaminados do conjunto de teste do GSM8K observaram quedas de desempenho relevantes em alguns modelos, sugerindo que parte da pontuação alta vinha de reconhecimento de padrão memorizado, não de raciocínio matemático genuíno resolvendo o problema do zero.

Outro sintoma parecido: mudar apenas a ordem das alternativas de múltipla escolha no MMLU já foi suficiente, em alguns estudos, para derrubar a taxa de acerto de forma perceptível, o que sugere que parte do desempenho depende de padrão superficial da formatação da pergunta, não de compreensão robusta do conteúdo.

Por que isso importa na hora de escolher um modelo

Nada disso significa que MMLU, GSM8K e HumanEval sejam inúteis. Eles ainda servem para uma triagem inicial, eliminando candidatos claramente fracos antes de investir tempo testando algo mais específico. O problema é usar a posição num leaderboard geral como critério final de decisão para uma tarefa concreta, porque um ranking agregado não representa o prompt específico da aplicação, os dados específicos do domínio, nem o tipo de erro que seria mais caro cometer naquele contexto.

Benchmarks mais recentes, como MMLU-Pro, GPQA Diamond e HLE (Humanity’s Last Exam), tentam reduzir o problema de saturação e contaminação com questões mais difíceis e menos expostas publicamente. Ainda assim, nenhum benchmark genérico substitui uma avaliação própria, construída em cima de exemplos reais da tarefa que a aplicação realmente precisa resolver.

A pergunta que o número no leaderboard não responde

Um benchmark responde “esse modelo é bom nessa tarefa específica, medida desse jeito específico”. Não responde “esse modelo vai funcionar bem no meu caso de uso”. São perguntas diferentes, e só a segunda importa de verdade na hora de decidir o que colocar em produção.