Contador de Tokens e Estimador de Custo

O que é um token, na prática

Token é um pedaço de texto que o modelo trata como uma unidade só. Não é uma letra e não é bem uma palavra. Em inglês, a média de trabalho fica em torno de quatro caracteres, ou uns três quartos de uma palavra, então 1.000 tokens equivalem a algo perto de 750 palavras de prosa comum.

As regras de divisão são menos organizadas do que essa média sugere:

• Palavras comuns normalmente são um token só. "The", "water", "because" custam um cada.
• Palavras longas ou raras se quebram. Algo como "unbelievable" pode virar três pedaços.
• O espaço antes da palavra costuma viajar junto com ela, então " cat" e "cat" são tokens diferentes.
• Números frequentemente se dividem dígito a dígito, e é por isso que IDs de pedido, hashes e timestamps saem caros para o tamanho que aparentam.

Outros idiomas não recebem o mesmo tratamento. Os tokenizadores são treinados majoritariamente em texto em inglês, então português, espanhol, francês e alemão costumam pesar de 1,5 a 2 vezes mais para dizer a mesma coisa. Japonês, chinês, coreano, árabe e alfabeto cirílico podem ser piores ainda, com um único caractere custando dois ou três tokens.

Código também se comporta de outro jeito. Indentação, colchetes, aspas e identificadores em camelCase fragmentam tudo. JavaScript minificado ou um blob em base64 pode ser várias vezes mais denso que prosa com a mesma contagem de caracteres — bom saber antes de colar um arquivo inteiro numa janela de chat.

Por que limites e preços rodam na mesma moeda

Duas coisas distintas são medidas na mesma unidade, e é daí que vem boa parte da confusão.

A primeira é a janela de contexto: todo o texto que o modelo consegue manter em mente numa requisição. Tudo entra na conta — suas instruções, a conversa até ali, qualquer arquivo anexado e o espaço reservado para a resposta. Estourou, e as mensagens mais antigas caem ou a requisição falha. Contexto descartado é invisível, e é por isso que uma conversa longa às vezes começa a contradizer coisas combinadas vinte mensagens atrás.

A segunda é a cobrança. Os provedores cobram por milhão de tokens, separando entrada e saída. Se você está avaliando se uma automação se paga em escala, essa separação é o número que importa, e vale ler junto os fundamentos da engenharia de prompt — um prompt mais enxuto costuma ser um prompt mais barato.

Entrada, saída e o custo silencioso do histórico

Tokens de saída quase sempre custam mais que os de entrada — em geral algo como cinco vezes mais. A razão é mecânica. A entrada é processada numa passada paralela, enquanto a saída é gerada um token por vez, cada um exigindo uma volta completa pelo modelo. Você paga pelo trabalho sequencial.

A consequência prática pega muita gente de surpresa: um prompt de 3.000 palavras costuma ser mais barato que um pedido que produz uma resposta de 3.000 palavras. Se sua fatura está subindo, olhe o que o modelo está escrevendo antes de olhar o que você está enviando. Limitar o tamanho no prompt é a alavanca mais rápida que você tem:

E tem o histórico da conversa. Chat é, por baixo, sem estado: cada turno reenvia a thread inteira. No décimo turno, você paga para reprocessar os turnos um a nove de novo. Vinte turnos de 500 tokens não são 10.000 tokens de entrada, e sim algo perto de 100.000 quando você conta o reenvio. Conversas longas ficam caras em silêncio, sem que nenhuma mensagem pareça grande. Quebre o ciclo carregando a thread adiante você mesmo:

Cortando tokens sem perder qualidade

Quase todo prompt tem folga que custa dinheiro e não entrega nada:

• Corte a gentileza de enchimento. "Eu queria saber se você poderia por favor me ajudar com" é uma dúzia de tokens de nada.
• Recorte o material colado até a parte relevante. Dois parágrafos do contrato, não o contrato inteiro, quando sua dúvida é sobre uma cláusula.
• Abra um chat novo quando o assunto mudar. Você para de pagar por um histórico que já não ajuda.
• Mova instruções estáveis para um prompt de sistema em vez de repeti-las a cada turno.
• Peça estrutura. Uma saída em JSON ou uma tabela simples costuma ser mais curta que a mesma informação em texto corrido, e mais fácil de usar depois.

O que não cortar: o contexto que o modelo não tem como inferir — seu público, suas restrições, o que você já tentou. É essa parte que faz o trabalho. Escrever vago é um dos erros mais comuns ao escrever prompts, e custa uma segunda tentativa, que sai mais cara que as palavras economizadas. Passe um rascunho inchado pelo otimizador de prompts para encurtá-lo, ou já comece enxuto com o gerador de prompts para ChatGPT.

Por que isto é uma estimativa

Cada família de modelo usa seu próprio tokenizador, e os provedores atualizam esses tokenizadores entre versões. Dois modelos podem ler o mesmo parágrafo e contar diferente. Um contador que roda inteiramente no seu navegador aplica uma aproximação bem calibrada em vez de carregar uma dúzia de arquivos de vocabulário — e em vez de mandar seu texto para lugar nenhum.

Para planejamento do dia a dia — isso vai caber, quanto vai custar mais ou menos, esse prompt está com o dobro do tamanho necessário — a estimativa é boa o bastante para agir. Trate como preciso dentro de alguns pontos percentuais para prosa em inglês, e mais folgado para código e alfabetos não latinos. Quando precisar de um número exato para faturamento, confira o tokenizador da OpenAI ou a contagem que a própria API devolve na resposta.