Latência, qualidade e custo: escolha seus problemas

Toda decisão de qual modelo usar numa aplicação de IA esbarra no mesmo trilema: latência, qualidade e custo puxam em direções opostas, e melhorar um dos três normalmente piora pelo menos um dos outros dois. Não existe modelo que seja simultaneamente o mais rápido, o mais barato e o mais capaz. Existe a escolha de qual combinação desses três problemas é mais aceitável para o caso de uso específico.

Por que os três não sobem juntos

Modelos de fronteira (frontier models), com maior capacidade de raciocínio e melhor desempenho em tarefa complexa, tendem a ser maiores, mais caros por token processado, e mais lentos para gerar uma resposta completa, simplesmente porque processar aquela capacidade extra exige mais computação por chamada. Modelos menores, incluindo small language models otimizados para rodar com menos recurso, respondem mais rápido e custam menos por chamada, ao custo de cometer mais erro em tarefa que exige raciocínio mais sofisticado ou conhecimento mais amplo.

Não é uma falha de engenharia que ainda vai ser corrigida numa próxima geração de modelo. É uma consequência direta de como capacidade, velocidade e custo computacional se relacionam: mais capacidade geralmente significa mais parâmetro ativado, mais parâmetro ativado significa mais tempo de processamento e mais custo por chamada.

Latência importa de forma diferente dependendo do produto

Uma interface de chat onde a pessoa está esperando ativamente pela resposta tolera menos latência do que um processo em segundo plano, como gerar um relatório noturno ou processar um lote de documentos, onde alguns segundos ou minutos a mais raramente são percebidos por quem está usando o sistema. Aplicar o mesmo modelo de fronteira, mais lento, para os dois casos desperdiça tolerância à espera que só existe num deles.

Isso também vale na direção contrária: usar um modelo rápido e barato numa tarefa que realmente exige raciocínio cuidadoso, só para economizar segundos que ninguém estava contando, troca qualidade real por uma velocidade que talvez nem fosse necessária para aquele contexto específico.

Qualidade não é uma escala única

“Modelo mais capaz” não significa melhor em toda dimensão simultaneamente. Um modelo de fronteira pode ser significativamente melhor em raciocínio matemático complexo e não ter vantagem relevante numa tarefa simples de classificação de texto, onde um modelo bem menor já atinge desempenho equivalente por uma fração do custo. Avaliar qualidade exige olhar para a tarefa específica, não para uma reputação geral de “esse modelo é melhor”, que pode não se traduzir em ganho real para o problema em questão.

Uma estratégia comum: modelo certo para cada etapa

Uma forma prática de lidar com o trilema, em vez de escolher um único modelo para toda a aplicação, é segmentar por etapa: um modelo pequeno e rápido para classificação inicial ou triagem, decidindo qual caminho seguir, e um modelo maior e mais caro reservado só para a parte da tarefa que realmente exige raciocínio mais sofisticado. Isso reduz o custo médio por interação sem sacrificar qualidade nas etapas onde ela realmente faz diferença, porque a etapa cara só é acionada quando necessário, não em toda chamada indiscriminadamente.

A pergunta que orienta a escolha

Antes de escolher modelo, vale perguntar: quanto de latência essa interação específica realmente tolera, quanto de erro é aceitável dado o custo de errar nesse contexto, e quanto orçamento existe disponível para o volume de chamadas esperado. As respostas raramente apontam para o mesmo modelo em toda a aplicação. Apontam, com mais frequência, para uma combinação deliberada, onde cada parte do sistema paga o preço certo pelo trade-off que realmente importa ali.