Tokens en la IA: qué son, cómo se cuentan y por qué importan tanto

7

Entender los tokens es el primer paso para saber de verdad cómo funcionan los modelos de lenguaje, esos que están detrás de herramientas como ChatGPT o Gemini. Puede sonar técnico, pero en realidad la idea de fondo es sencilla. Si las personas pensamos en palabras, la inteligencia artificial piensa en tokens. Y ahí está la clave para comprender cómo procesa, calcula y responde cada vez que le lanzamos una pregunta.

Un token, dicho sin rodeos, es la unidad básica de información que un modelo utiliza para procesar y generar texto. No es lo mismo que una palabra completa, aunque a veces coincida. Se trata de un fragmento en el que se divide una cadena de caracteres, y ese fragmento puede ser una palabra entera, un solo carácter, un espacio en blanco o solo una parte de una palabra. Depende mucho del idioma y de cómo esté construida la palabra en cuestión.

Qué es un token y cómo se divide el texto

Un ejemplo aclara bastante las cosas. La palabra Internet suele ocupar un único token, mientras que superestructura puede partirse en dos, super y estructura. Para que el modelo lo entienda, a cada fragmento se le asocia un identificador único que permite contar cuántos se están usando. Ese proceso tiene nombre propio y se llama tokenización. Básicamente es el momento en el que nuestro texto se traduce a números que la máquina sí puede manejar.

Y aquí entra un detalle curioso que afecta directamente a quienes escriben en español. De forma aproximada, y tomando como referencia el inglés, que es el idioma con el que se entrenan la mayoría de estos sistemas, un token equivale a 0,75 palabras. Es decir, 100 tokens rondan las 75 palabras en inglés. En español la cosa cambia. Por culpa de las conjugaciones, las tildes y caracteres tan nuestros como la ñ, una sola palabra a menudo se convierte en 2 o más tokens.

Por qué cuentan tanto los tokens en cada consulta

Algunos ejemplos ayudan a verlo. Buenos días son 4 tokens en español, y esa tilde en días suma respecto a escribir dias, que serían 3. En inglés, Good morning se queda en 2, porque el tokenizador captura esas dos palabras comunes como unidades únicas. Con las preguntas pasa algo parecido. ¿Cómo estás? asciende a 6 tokens, ya que los signos de interrogación inicial y final más la tilde suman. En cambio How are you? se queda en 3, donde el signo se tokeniza por separado. Cuando la frase se alarga, la diferencia se nota todavía más. Una frase como la inteligencia artificial generativa está transformando algo puede llegar a 18 tokens en español, mientras que su versión inglesa se queda en 10. Palabras más cortas y más frecuentes en el corpus de entrenamiento, menos fragmentación.

Pero, ¿para qué sirve todo esto en el fondo? Los modelos de IA no entienden el texto tal cual lo leemos. Son motores matemáticos que trabajan con estadísticas y vectores, nada más. Los tokens hacen de puente y traducen entre nuestro lenguaje y el suyo. Al trocear el lenguaje natural en identificadores, el modelo reduce el tamaño del vocabulario que debe memorizar. En vez de aprender todas las variantes de una misma palabra, aprende la raíz y los sufijos principales. Eso permite ordenar cuánta información puede retener dentro de lo que se conoce como ventana de contexto.

Hay otra parte que toca el bolsillo. Cada vez que lanzamos una pregunta, ese input consume tokens, y la respuesta que recibimos, el output, también. El coste final de uso es la suma de los tokens enviados y los recibidos. En las API de OpenAI, Google, Anthropic y compañía, los tokens son la moneda con la que se paga, y el cobro se hace por tramos según la cantidad procesada en la entrada y generada en la salida.

Tags

Tokens, Inteligencia artificial, Tokenización, LLM, ChatGPT, API, Procesamiento de lenguaje natural

Meta description

Qué son los tokens en la IA, para qué sirven, cómo se cuentan y por qué en español consumen más que en inglés. Todo explicado de forma clara y sencilla.

Fuente
Imagen: hardzone.es