Benchmark de LLMs: o que aqueles números realmente significam?
MMLU, GSM8K e HumanEval dizem alguma coisa sobre um modelo, mas não dizem se ele resolve bem a tarefa específica da sua aplicação. Contaminação de dado e saturação de benchmark explicam por quê.