¿Qué son los tokens de IA? La unidad tras los límites y precios

Todos los chatbots y API de IA miden tu texto con la misma unidad, y no es la palabra: son los tokens. Deciden cuánto cabe en una conversación, cuándo un chat largo olvida su principio, cuánto cuesta una llamada a la API y por qué la misma pregunta puede costar más en español que en inglés. Esta guía explica qué son los tokens de IA, cómo se divide el texto en ellos, su relación con la ventana de contexto y los precios, cómo contarlos y qué prompts gastan menos sin empeorar las respuestas.

Qué es un token de IA

Un token es el fragmento de texto que un modelo de lenguaje lee y escribe como una unidad. Antes de que el modelo vea tu prompt, un tokenizador lo corta en fragmentos y convierte cada uno en un número. El modelo solo trabaja con esos números y escribe su respuesta token a token.

Puede ser una palabra, parte de ella, un signo de puntuación o un espacio pegado al inicio de una palabra. Según la muy citada regla de OpenAI para el inglés, un token equivale a unos cuatro caracteres, o tres cuartos de palabra. Así:

• 100 tokens son unas 75 palabras inglesas, un párrafo corto.
• 1.000 tokens son unas 750 palabras, página y media de prosa normal.
• 100.000 tokens son unas 75.000 palabras, una novela entera.

Son medias, no reglas. En inglés, palabras comunes como «the» o «because» suelen ser un token cada una. Las palabras raras, nombres, erratas y compuestos largos se dividen en varios: «tokenization» podría quedar en «Token» e «ization». Para comprobarlo, pega un párrafo en nuestro contador de tokens y compáralo con el número de palabras.

Cómo se convierte el texto en tokens

La mayoría de los tokenizadores actuales usan la codificación de pares de bytes (BPE). Parte de caracteres sueltos, busca los pares más frecuentes en una enorme muestra de texto y los fusiona en tokens nuevos, una y otra vez, hasta que el vocabulario alcanza un tamaño fijo. El tokenizador de GPT-4, por ejemplo, tiene unos 100.000 tokens. Las palabras frecuentes son un solo token; las raras, varias piezas.

Esa muestra de entrenamiento explica casi todas las rarezas:

• Otros idiomas cuestan más: los tokenizadores aprenden sobre todo del inglés, así que expresar lo mismo en otro idioma suele requerir más tokens. Un estudio de 2023 de Petrov y colaboradores halló que traducciones del mismo texto pueden diferir hasta 15 veces en tokens según el idioma. Las lenguas europeas suelen ser solo algo más caras; las de menos texto de entrenamiento y escritura no latina salen peor paradas.
• Los números y el código se fragmentan: números largos, identificadores, fechas y marcas de tiempo suelen dividirse en varias piezas, igual que, en el código, la sangría, los corchetes y los nombres de variables raros.
• Cada modelo cuenta de forma distinta: cada empresa entrena su tokenizador, y cambian entre generaciones. Anthropic indica que su tokenizador desde Claude Opus 4.7 produce aproximadamente un 30 % más de tokens con el mismo texto que los Claude anteriores. El recuento de un modelo es solo una estimación para otro.

Los tokens explican además un fallo famoso. Pregunta a un modelo cuántas erres tiene la palabra inglesa «strawberry» (fresa) y puede equivocarse, porque no ve las letras, solo un par de números de token. Por eso deletrear, contar caracteres y rimar les cuesta más de lo que parece.

Los tokens y la ventana de contexto

La ventana de contexto es el máximo de tokens con el que un modelo puede trabajar en una petición. No es solo tu último mensaje: incluye las instrucciones del sistema, toda la conversación previa, archivos o imágenes adjuntos, resultados de herramientas y la respuesta que el modelo escribe. Los modelos punteros anuncian ventanas de cientos de miles de tokens a un millón o más; Anthropic, por ejemplo, indica 1 millón de tokens para sus modelos Claude actuales.

Algunas sorpresas:

• Las aplicaciones de chat reenvían toda la conversación: el modelo no tiene memoria entre turnos, así que cada mensaje se procesa con todos los anteriores. En un chat de 20 turnos donde cada intercambio añade unos 500 tokens, el último mensaje arrastra unos 10.000 tokens de historial, y la conversación entera procesa más de 100.000.
• Los adjuntos cuentan: un PDF largo, una hoja de cálculo o una base de código pegada pueden llenar casi toda la ventana antes de que preguntes. Las imágenes también: según la documentación de Claude, una de 1.000 × 1.000 píxeles ocupa unos 1.300 tokens.
• El razonamiento cuenta: los modelos que «piensan» antes de responder generan tokens de razonamiento ocultos. OpenAI dice que ocupan espacio en la ventana y se facturan como salida, y recomienda reservar al menos 25.000 tokens para razonamiento y salida al empezar a usar esos modelos.
• Cuando la ventana se llena, algo cede: una API rechaza un prompt demasiado largo; las aplicaciones de chat suelen descartar o resumir en silencio los mensajes antiguos. Por eso un chat largo puede ignorar decisiones iniciales.

Una ventana mayor no implica que el modelo la aproveche entera igual de bien. El artículo de 2023 «Lost in the Middle» halló que los modelos responden mejor cuando la información relevante está al principio o al final de una entrada larga, y peor cuando queda enterrada en medio. Anthropic llama al efecto general context rot (degradación del contexto): al crecer el número de tokens, bajan la precisión y la capacidad de recordar. Elegir qué entra ahí es el tema de la ingeniería de contexto.

Cómo funcionan los precios por token

Los chats por suscripción esconden los tokens tras límites de uso, pero todas las API cobran por ellos, normalmente por millón de tokens. Casi todas las tarifas tienen cuatro conceptos:

• Tokens de entrada: todo lo que envías, incluidos el prompt de sistema y el historial de la conversación.
• Tokens de salida: todo lo que escribe el modelo, incluido el razonamiento. La salida suele costar varias veces más que la entrada, porque el modelo la genera token a token.
• Entrada en caché: el texto repetido al inicio de muchas peticiones, como un prompt de sistema largo, puede guardarse en caché y facturarse con descuento. En Claude, leer de la caché cuesta una décima parte del precio normal de entrada en la mayoría de los modelos.
• Procesamiento por lotes: varios proveedores rebajan las peticiones que no necesitan respuesta inmediata y pueden esperar unas horas.

Un ejemplo con precios ficticios pero realistas, 3 $ por millón de tokens de entrada y 15 $ por millón de salida: un asistente de atención al cliente con un prompt de sistema de 2.000 tokens, unos 1.500 de historial y un mensaje del cliente de 300 envía 3.800 tokens de entrada por respuesta y recibe unos 400. Son 0,0114 $ de entrada más 0,006 $ de salida, menos de dos centavos por respuesta, o unos 174 $ por 10.000 respuestas al mes. Reduce el prompt de sistema a la mitad y la factura baja aproximadamente una sexta parte; guárdalo en caché y ahorrarás aún más.

La lección no es que los tokens sean caros, sino que el coste está en lo que repites (prompts de sistema, historial, documentos adjuntos) multiplicado por cada petición.

Cómo contar los tokens antes de enviar

Casi nadie necesita un recuento exacto, salvo cerca de un límite, al presupuestar una automatización o comparar modelos. Las opciones, de la más aproximada a la más exacta:

1. La regla general: palabras × 1,33 para el inglés. Vale para saber «¿cabrá esto?», pero no es fiable con código, números u otros idiomas.
2. Un estimador: nuestro contador de tokens funciona en tu navegador, así que tu texto no se sube, y muestra tokens y coste estimados para varios modelos a la vez.
3. La herramienta del propio proveedor: OpenAI publica una página de tokenizador y su biblioteca de código abierto tiktoken; Anthropic ofrece en su API un endpoint gratuito para contar tokens; la API de Gemini de Google tiene un método count-tokens. Usan el tokenizador real del modelo que indiques.
4. El informe de uso: cada respuesta de la API indica cuántos tokens de entrada y salida ha usado. En producción, registrar esas cifras supera a cualquier estimación.

Las aplicaciones de chat casi nunca muestran recuentos de tokens. Las señales de estar cerca del límite son indirectas: avisos de conversación larga, archivos que se cortan o respuestas que olvidan detalles anteriores.

Prompts que ahorran tokens sin perder calidad

Recortar tokens solo sirve si las respuestas no empeoran. Lo más seguro es quitar repeticiones y controlar la longitud, no escribir en estilo telegrama. El primer prompt convierte un chat interminable en un resumen compacto para pegar en una conversación nueva:

Revisa luego los prompts de sistema largos y las plantillas reutilizables, que pagas en cada petición:

Los tokens de salida son los caros, y los modelos tienden a escribir de más. Indica la longitud y la forma que quieres:

Si dudas de que un prompt acortado siga siendo claro, pásalo por nuestro analizador de prompts. Las bases de un buen prompt están en nuestra guía de fundamentos de ingeniería de prompts.

Formas de usar menos tokens

Además de los prompts, estos hábitos son los que más se notan:

• Abre chats nuevos para temas nuevos: una conversación por tarea mantiene el historial corto y pertinente.
• Envía la parte relevante, no el archivo entero: pega las tres secciones que importan, no el informe de 80 páginas. Con grandes colecciones de documentos, la recuperación lo hace sola; mira qué es RAG.
• Limpia el texto que pegas: webs y PDF traen menús, pies, números de página y encabezados repetidos. Quitarlos es precisión gratis.
• Pon primero el contenido estable: en una API, deja el prompt de sistema y el material de referencia idénticos y al inicio de cada petición para que se aplique la caché.
• Ajusta el modelo a la tarea: los modelos pequeños cuestan una fracción por token y resuelven bien la clasificación, la extracción y las reescrituras breves. Reserva los grandes, y el razonamiento, para lo que lo exija.
• Pide una salida estructurada: un objeto JSON o una tabla corta suelen ocupar menos que varios párrafos y se aprovechan mejor después.

Límites que conviene conocer

• Los recuentos de tokens son aproximados entre modelos: el mismo texto da recuentos distintos en cada tokenizador, e incluso las herramientas oficiales se presentan como estimaciones. Deja margen.
• Una ventana grande no es una memoria perfecta: que un documento quepa no garantiza que se use cada detalle. Pide citas o referencias de página cuando la precisión importe.
• Menos tokens no siempre es mejor: quitar contexto necesario o exigir respuestas muy cortas a preguntas complejas ahorra céntimos y cuesta calidad. Los tokens de razonamiento, sobre todo, suelen aportar precisión real en problemas difíciles.
• Los límites de los planes de chat no son simples cuentas de tokens: las suscripciones fijan sus propios topes, que varían según plan, modelo y demanda, y no siempre se expresan en tokens. Aun así, los chats largos y los archivos grandes los agotan antes.
• Los precios y los límites cambian a menudo: ventanas de contexto, tarifas y tokenizadores han cambiado varias veces al año. Consulta los precios actuales del proveedor antes de presupuestar y toma cualquier cifra de un artículo, incluido este, como punto de partida.
• Los tokens no miden la verdad: un modelo puede dar una respuesta fluida, bien formateada y con la longitud exacta pedida, y aun así equivocarse. Los límites de tokens y las alucinaciones de la IA son problemas distintos.

Pensando en tokens, muchas rarezas de la IA cobran sentido: el chat que olvida, la factura que crece con cada función, la respuesta extrañamente torpe al deletrear. No hace falta contarlos a diario, pero saber adónde van te ayuda a escribir prompts que caben, cuestan menos y ponen lo importante donde el modelo lo verá.

Referencias

• Anthropic — Ventanas de contexto (documentación de Claude)
• Liu et al. — Lost in the Middle: How Language Models Use Long Contexts (2023, en inglés)
• Wikipedia — Codificación de pares de bytes