Golden Dataset: criando uma prova para sua IA
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
BLOG
Ideias e devaneios
Tecnologia, código, experimentos e algumas opiniões não solicitadas.
RAG não é memória. Memória não é contexto. E contexto não é prompt.
Prompt é a instrução de uma chamada. Contexto é o que está ativo na janela naquele momento. Memória é o que persiste entre chamadas. RAG é o mecanismo que busca informação externa para preencher isso.
RAG vs contexto longo: quando cada abordagem faz sentido na prática
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Chunking: cortar texto é fácil. Cortar sem destruir o contexto é outra história
Dividir documento em pedaços de tamanho fixo é o jeito mais simples de fazer chunking para RAG, e também o que mais corta ideia ao meio. A estratégia de corte muda diretamente a qualidade da busca dep …
RAG explicado para quem já cansou de definições complicadas
RAG é a diferença entre fazer prova de memória e fazer prova de consulta: em vez de confiar só no que o modelo decorou no treino, ele busca informação relevante antes de responder.
Benchmark de LLMs: o que aqueles números realmente significam?
MMLU, GSM8K e HumanEval dizem alguma coisa sobre um modelo, mas não dizem se ele resolve bem a tarefa específica da sua aplicação. Contaminação de dado e saturação de benchmark explicam por quê.
Supervisor, Router e Workers: organizando uma equipe de agentes
Supervisor, Router e Workers é uma arquitetura clássica para sistemas multi-agente: o Router encaminha, os Workers executam e o Supervisor avalia se a entrega realmente resolveu o problema.
Orquestração de agentes: quem decide quem faz o quê?
Orquestrar agentes de IA pode ser determinístico, com código definindo cada etapa, ou dinâmico, com um agente principal decidindo o próximo passo. A escolha muda tudo na hora de depurar.
Mais IA significa melhor resultado? O custo da sobrecarga em sistemas multi-agente
Adicionar mais agentes a um fluxo de IA não melhora o resultado por padrão. Às vezes só multiplica erro, custo e a chance de dois agentes discordarem sem resolver nada.
Um agente ou vários? Quando Multi-Agent realmente faz sentido
Arquitetura multi-agente separa responsabilidades entre agentes especializados, mas isso custa em tokens, latência de coordenação e dificuldade de rastrear o que aconteceu.