TAG
4 textos
Prompt é a instrução de uma chamada. Contexto é o que está ativo na janela naquele momento. Memória é o que persiste entre chamadas. RAG é o mecanismo que busca informação externa para preencher isso.
Modelos com janela de contexto de mais de um milhão de tokens tornaram tentador simplesmente colar o documento inteiro no prompt. RAG ainda vence em custo por consulta, atualização de dado e precisão …
Janela de contexto grande não é sinônimo de resposta melhor: atenção de LLMs se distribui de forma desigual, e contexto em excesso cobra em latência e custo.
Janela de contexto e memória resolvem problemas diferentes: uma é o espaço finito de uma interação, a outra é armazenamento persistente entre sessões.