O que São Tokens de IA? A Unidade por Trás de Limites e Preços

Todo chatbot e API de IA medem o texto na mesma unidade, e não é a palavra: são os tokens. Eles definem quanto cabe numa conversa, quando um chat longo começa a esquecer o início, quanto custa uma chamada de API e por que a mesma pergunta pode custar mais em português que em inglês. Este guia explica o que são tokens de IA, como o texto se divide neles, sua relação com a janela de contexto e os preços, como contá-los e prompts que reduzem o consumo sem piorar as respostas.

O que é um token de IA

Um token é o pedaço de texto que um modelo de linguagem lê e escreve como unidade. Antes de o modelo ver o seu prompt, um programa chamado tokenizador o corta nesses pedaços e converte cada um num número. O modelo só trabalha com esses números e responde um token por vez.

Um token pode ser uma palavra inteira, parte dela, um sinal de pontuação ou um espaço grudado no início de uma palavra. Pela regra prática muito citada da OpenAI, em inglês um token tem uns quatro caracteres, ou três quartos de palavra. Assim:

• 100 tokens são cerca de 75 palavras em inglês, um parágrafo curto.
• 1.000 tokens são cerca de 750 palavras, uma página e meia de prosa comum.
• 100.000 tokens são cerca de 75.000 palavras, o tamanho de um romance inteiro.

São médias, não regras. Palavras comuns do inglês, como "the" ou "because", costumam ser um token cada. Palavras raras, nomes, erros de digitação e compostos longos se partem em vários. A própria "tokenization" pode sair como "Token" e "ization". Para conferir, cole um parágrafo no nosso contador de tokens e compare tokens e palavras.

Como o texto vira tokens

A maioria dos tokenizadores atuais usa um método chamado byte-pair encoding (BPE). Ele parte de caracteres soltos, acha os pares mais frequentes numa enorme amostra de texto e os funde em novos tokens, repetidamente, até o vocabulário atingir um tamanho fixo. O do GPT-4, por exemplo, tem um vocabulário de cerca de 100.000 tokens. Palavras frequentes viram um único token; as raras são montadas com pedaços.

Essa amostra explica a maioria das peculiaridades:

• Outros idiomas custam mais: os tokenizadores aprendem sobretudo com inglês, então o mesmo conteúdo em outras línguas tende a exigir mais tokens. Um estudo de 2023 de Petrov e colegas constatou que traduções do mesmo texto podem variar até 15 vezes em número de tokens entre idiomas. Línguas europeias como o português costumam ser só um pouco mais caras; idiomas com menos texto de treinamento e escritas não latinas se saem pior.
• Números e código se fragmentam: números longos, IDs, datas e timestamps costumam se partir em pedaços, assim como indentação, colchetes e nomes de variáveis incomuns no código.
• Cada modelo conta de um jeito: cada empresa treina o próprio tokenizador, e eles mudam entre gerações. A Anthropic informa que o seu tokenizador, a partir do Claude Opus 4.7, gera cerca de 30% mais tokens para o mesmo texto que os Claude anteriores. A contagem de um modelo é só uma estimativa para outro.

Isso explica uma fraqueza famosa. Pergunte a um modelo quantas letras r há na palavra inglesa "strawberry" e ele pode errar, porque nunca vê as letras, só alguns números de token. Pelo mesmo motivo, soletrar, contar caracteres e rimar são mais difíceis para modelos do que parecem.

Tokens e a janela de contexto

A janela de contexto é o número máximo de tokens que um modelo processa numa solicitação. Não é só a sua última mensagem: inclui as instruções de sistema, toda a conversa até ali, os arquivos ou imagens anexados, os resultados de ferramentas e a resposta que o modelo está escrevendo. Os principais modelos atuais anunciam janelas de algumas centenas de milhares de tokens a um milhão ou mais; a Anthropic, por exemplo, indica 1 milhão de tokens nos modelos Claude atuais.

Algumas coisas surpreendem:

• Os apps de chat reenviam a conversa inteira: o modelo não tem memória entre turnos, então cada mensagem nova é processada com todas as anteriores. Num chat de 20 turnos em que cada troca acrescenta uns 500 tokens, a última mensagem carrega cerca de 10.000 tokens de histórico, e a conversa inteira processa mais de 100.000.
• Anexos contam: um PDF longo, uma planilha ou uma base de código colada podem ocupar quase toda a janela antes da primeira pergunta. Imagens também são tokens: a documentação do Claude calcula cerca de 1.300 tokens para uma imagem de 1.000 × 1.000 pixels.
• O raciocínio conta: modelos que "pensam" antes de responder produzem tokens de raciocínio ocultos. A OpenAI diz que eles ocupam espaço na janela e são cobrados como saída, e recomenda reservar pelo menos 25.000 tokens para raciocínio e saída ao estrear nesses modelos.
• Quando a janela enche, algo cede: uma API rejeita um prompt longo demais, enquanto os apps costumam descartar ou resumir mensagens antigas em silêncio. Por isso uma conversa longa pode passar a ignorar decisões do início.

Uma janela maior não garante que o modelo aproveite tudo igualmente. O artigo "Lost in the Middle", de 2023, constatou que os modelos respondem melhor quando a informação relevante está no começo ou no fim de uma entrada longa, e pior quando fica enterrada no meio. A documentação da Anthropic chama o efeito mais amplo de context rot (deterioração do contexto): quanto mais tokens, menor a precisão e a recuperação de informações. Escolher o que entra nesse espaço é o tema da engenharia de contexto.

Como funciona o preço por token

Os apps de chat por assinatura escondem os tokens atrás de limites de uso, mas toda API cobra por eles, em geral por milhão. Quatro itens aparecem em quase toda tabela de preços:

• Tokens de entrada: tudo o que você envia, incluindo o system prompt e o histórico da conversa.
• Tokens de saída: tudo o que o modelo escreve, incluindo os tokens de raciocínio. A saída costuma custar várias vezes mais que a entrada, porque o modelo a gera um token por vez.
• Entrada em cache: texto repetido no início de muitas solicitações, como um system prompt longo, pode ficar em cache e ser cobrado com desconto. No Claude, as leituras de cache custam um décimo do preço normal de entrada na maioria dos modelos.
• Processamento em lote: vários provedores dão desconto a solicitações sem urgência, que podem rodar em algumas horas.

Um exemplo com preços fictícios, mas realistas, de US$ 3 por milhão de tokens de entrada e US$ 15 por milhão de saída: um assistente de suporte com system prompt de 2.000 tokens, cerca de 1.500 de histórico e uma mensagem de cliente de 300 envia 3.800 tokens de entrada por resposta e recebe uns 400. São US$ 0,0114 de entrada mais US$ 0,006 de saída, menos de dois centavos por resposta, ou cerca de US$ 174 por 10.000 respostas mensais. Corte o system prompt pela metade e a conta cai cerca de um sexto; coloque-o em cache e a economia é ainda maior.

A lição não é que tokens são caros, e sim que o custo está no que se repete: system prompts, histórico e documentos anexados, multiplicados por cada solicitação.

Como contar tokens antes de enviar

Quase ninguém precisa de uma contagem exata, a não ser perto de um limite, ao orçar uma automação ou comparar modelos. As opções, da aproximada à exata:

1. A regra prática: palavras × 1,33 para o inglês. Serve para a pergunta "isso cabe?", mas falha com código, números ou outros idiomas.
2. Um estimador: o nosso contador de tokens roda no navegador, sem enviar o texto, e mostra tokens e custo estimados para vários modelos de uma vez.
3. A ferramenta do provedor: a OpenAI publica uma página de tokenizador e a biblioteca de código aberto tiktoken; a Anthropic oferece um endpoint gratuito de contagem de tokens na sua API; a API do Gemini, do Google, tem um método count-tokens. Eles usam o tokenizador real do modelo indicado.
4. O relatório de uso: toda resposta de API informa quantos tokens de entrada e saída usou. Em produção, registrar esses números supera qualquer estimativa.

Nos apps de chat, quase nunca se veem contagens. Os sinais de que o limite está perto são indiretos: avisos sobre conversas longas, arquivos truncados ou respostas que esquecem detalhes anteriores.

Prompts que economizam tokens sem perder qualidade

Cortar tokens só vale se as respostas continuarem boas. As economias mais seguras vêm de eliminar repetições e controlar o tamanho, não de escrever em estilo telegrama. O primeiro prompt condensa um chat que se espalhou demais num resumo para colar numa conversa nova:

System prompts longos e templates reutilizáveis são o próximo alvo, porque você paga por eles em cada solicitação:

Os tokens de saída são os caros, e os modelos adoram escrever mais do que o necessário. Diga o tamanho e o formato desejados:

Na dúvida se um prompt encurtado continua claro, passe-o pelo nosso analisador de prompts. O básico de um bom prompt está no nosso guia de fundamentos de engenharia de prompt.

Maneiras de usar menos tokens

Além dos prompts, alguns hábitos pesam mais:

• Abra chats novos para assuntos novos: uma conversa por tarefa mantém o histórico curto e útil.
• Envie a parte relevante, não o arquivo inteiro: cole as três seções que importam em vez do relatório de 80 páginas. Para grandes coleções de documentos, a recuperação de informações faz isso automaticamente; veja o que é RAG.
• Limpe o texto colado: páginas web e PDFs trazem menus, rodapés, números de página e cabeçalhos repetidos. Removê-los é precisão de graça.
• Coloque o conteúdo estável primeiro: numa API, mantenha o system prompt e o material de referência idênticos e no início de cada solicitação para que o cache funcione.
• Escolha o modelo conforme a tarefa: modelos menores custam uma fração por token e lidam bem com classificação, extração e reescritas curtas. Guarde os grandes, e os modos de raciocínio, para problemas que os exijam.
• Peça saída estruturada: um objeto JSON ou uma tabela curta geralmente ocupa menos que parágrafos e é mais fácil de usar nas etapas seguintes.

Limites que vale a pena conhecer

• Contagens de tokens são aproximadas entre modelos: o mesmo texto gera números diferentes em cada tokenizador, e até as ferramentas oficiais se descrevem como estimativas. Deixe uma margem.
• Uma janela grande não é memória perfeita: um documento caber no contexto não garante que cada detalhe será usado. Peça citações ou referências de página quando a precisão importar.
• Menos tokens nem sempre é melhor: cortar o contexto de que o modelo precisa, ou exigir respostas muito curtas para perguntas complexas, economiza centavos e custa qualidade. Os tokens de raciocínio, em especial, costumam render precisão real em problemas difíceis.
• Limites de planos de chat não são simples contas de tokens: os apps por assinatura definem limites próprios, que variam por plano, modelo e demanda e nem sempre são expressos em tokens. Chats longos e arquivos grandes ainda os esgotam mais rápido.
• Preços e limites mudam com frequência: janelas de contexto, tarifas e tokenizadores mudaram várias vezes por ano. Confira a página de preços atual do provedor antes de orçar e trate qualquer número de artigo, inclusive deste, como ponto de partida.
• Tokens não medem a verdade: um modelo pode dar uma resposta fluente, bem formatada e exatamente no tamanho pedido, e ainda assim errada. Limites de tokens e alucinações de IA são problemas distintos.

Com os tokens em mente, muito comportamento estranho da IA faz sentido: o chat que esquece, a conta que cresce a cada recurso, a resposta curiosamente ruim em ortografia. Não é preciso contá-los todo dia, mas saber para onde vão ajuda a escrever prompts que cabem, custam menos e deixam o importante onde o modelo de fato vai notar.

Referências

• Anthropic — Janelas de contexto (documentação do Claude)
• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023, em inglês)
• Wikipedia (em inglês) — Byte-pair encoding