Ter experiência não significa ter todas as respostas
Senioridade deveria significar melhores perguntas, não certeza automática. Confundir as duas coisas é fácil, e o custo de confundir normalmente aparece tarde demais para corrigir barato.
BLOG
Ideias e devaneios
Tecnologia, código, experimentos e algumas opiniões não solicitadas.
Seu agente melhorou mesmo? Testes de regressão para sistemas de IA
Mudar um prompt e testar na mão umas cinco perguntas antes de subir para produção não prova nada sobre os outros cem casos que ninguém olhou. Regressão automatizada existe para isso.
Testes de integração em .NET: porque mockar o mundo inteiro não prova muita coisa
Uma suíte inteira de testes unitários com repositório, banco e API externa mockados pode passar 100% verde e ainda assim não provar que o sistema funciona quando essas peças de verdade entram em cena.
LLM-as-a-Judge: colocar uma IA para julgar a outra realmente funciona?
Usar um modelo para avaliar a resposta de outro modelo escala revisão que seria inviável fazer manualmente, mas carrega vieses conhecidos, como preferir a primeira opção ou a resposta mais longa.
Golden Dataset: criando uma prova para sua IA
Um Golden Dataset é um conjunto de pergunta, contexto ideal e resposta esperada, revisado por humano, usado para detectar regressão antes de qualquer mudança em produção afetar o sistema todo.
RAG não é memória. Memória não é contexto. E contexto não é prompt.
Prompt é a instrução de uma chamada. Contexto é o que está ativo na janela naquele momento. Memória é o que persiste entre chamadas. RAG é o mecanismo que busca informação externa para preencher isso.
Observabilidade em aplicações de IA: como descobrir o que seu agente aprontou
Rastrear chamada de modelo, tokens consumidos e ferramenta acionada é o que separa depurar um agente de tentar adivinhar por que ele respondeu daquele jeito à uma da manhã.
RAG vs contexto longo: quando cada abordagem faz sentido na prática
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Embeddings em C#: como uma frase acaba virando números
Um embedding transforma texto num vetor de números que representa significado, e comparar dois vetores com similaridade de cosseno é como um sistema decide se duas frases 'falam da mesma coisa'.
Chunking: cortar texto é fácil. Cortar sem destruir o contexto é outra história
Dividir documento em pedaços de tamanho fixo é o jeito mais simples de fazer chunking para RAG, e também o que mais corta ideia ao meio. A estratégia de corte muda diretamente a qualidade da busca dep …