Quanto contexto é contexto demais?

É tentador tratar uma janela de contexto maior como solução universal: se o modelo suporta uma quantidade grande de tokens, mandar tudo que existe e deixar ele decidir o que importa. Na prática, contexto grande demais tem custo real, e nem sempre onde parece.

O modelo não trata cada token com a mesma atenção

Um dos achados mais citados em pesquisa sobre contexto longo em LLMs é o fenômeno apelidado de “lost in the middle”: modelos tendem a recuperar informação posicionada no início ou no fim de um contexto longo com mais precisão do que informação posicionada no meio dele. Isso não é uma regra absoluta válida para todo modelo e toda tarefa, mas aparece com frequência suficiente para merecer atenção prática.

Na prática, isso significa que enfiar um documento relevante no meio de um contexto imenso, cercado de outros documentos menos relevantes, não garante que o modelo vai localizar aquela informação com a mesma confiabilidade que teria se ela estivesse perto do início ou do fim do prompt.

Latência e custo escalam com o tamanho do contexto

Processar cada token de entrada consome tempo e, na maioria dos provedores, custa dinheiro proporcional à quantidade de token enviada. Dobrar o tamanho do contexto não é gratuito: aumenta o tempo até a primeira resposta e aumenta o custo da chamada, mesmo quando boa parte daquele contexto acaba não sendo relevante para a resposta final.

Isso cria uma armadilha comum: mandar contexto “por garantia”, sem processo de seleção, na esperança de que mais informação só possa ajudar. Na prática, o resultado é frequentemente uma resposta mais lenta, mais cara, e não necessariamente melhor.

Contexto irrelevante compete com contexto relevante

Além do custo direto, existe um custo de atenção. Cada token de contexto irrelevante que entra no prompt é um token a mais competindo pela atenção do modelo, não simplesmente informação neutra parada ali sem efeito. Um contexto bem selecionado, com menos volume mas maior relevância por token, tende a produzir resposta mais precisa do que um contexto enorme com relevância diluída.

Quando contexto grande realmente ajuda

Isso não significa que janelas de contexto grandes sejam inúteis. Tarefas que genuinamente dependem de reter e relacionar informação espalhada por um documento extenso, como analisar um contrato inteiro ou resumir uma base de código grande, se beneficiam de contexto amplo justamente porque a alternativa, cortar informação, tiraria precisamente o que a tarefa precisa.

A diferença é que, nesses casos, o contexto grande é uma necessidade da tarefa, não um substituto para o trabalho de decidir o que realmente precisa estar ali.

Contexto é recurso finito, não gratuito

Tratar a janela de contexto como espaço ilimitado, onde mais informação nunca faz mal, ignora tanto a forma como modelos distribuem atenção internamente quanto o custo real de processar cada token adicional. A pergunta útil não é “quanto contexto posso enviar”, é “quanto contexto essa tarefa específica realmente precisa”.