Tokenización y el Algoritmo BPE (Byte Pair Encoding)

Los Modelos de Lenguaje no leen palabras completas como lo hacemos los humanos. En su lugar, procesan unidades matemáticas llamadas tokens. La tokenización es el proceso de convertir un flujo de texto en una secuencia de números que la red neuronal puede procesar.

¿Por qué no usar palabras o caracteres?

• Por caracteres: Genera secuencias demasiado largas y el modelo pierde el sentido semántico (cada letra no significa nada por sí misma).
• Por palabras: El vocabulario sería infinito (neologismos, errores gramaticales, conjugaciones verbos) y el modelo no sabría qué hacer con palabras desconocidas.

La solución intermedia es el sub-word tokenization, y el estándar actual es el Byte Pair Encoding (BPE).

Cómo funciona Byte Pair Encoding (BPE)

BPE es un algoritmo que identifica de forma iterativa los pares de caracteres más frecuentes y los fusiona.

Ejemplo de Proceso:

Supongamos que tenemos los términos: "computadora", "computación", "computar".

1. El algoritmo empieza con caracteres individuales: c-o-m-p-u-t-a-d-o-r-a.
2. Encuentra que "com" se repite mucho y lo une en un solo token.
3. Encuentra que "put" se repite mucho y lo une.
4. Finalmente, "comput" se convierte en un solo token.

Esto permite que palabras raras se desglosen en partes conocidas (ej: "anti-constitucional-mente").

Tokens vs Palabras

En inglés, una regla general es que 1,000 tokens equivalen aproximadamente a 750 palabras. En español, debido a la riqueza de las conjugaciones, la relación suele ser ligeramente menor.

Implementación con Python (tiktoken)

import tiktoken

# Obtener el encoding para GPT-4
enc = tiktoken.encoding_for_model("gpt-4")

texto = "La tokenización es fundamental para la IA."

# Convertir texto a IDs de tokens
tokens = enc.encode(texto)
print(f"Tokens: {tokens}")

# Ver qué significa cada ID
decoded = [enc.decode([t]) for t in tokens]
print(f"Partes: {decoded}")

Impacto en el costo y rendimiento

Cada token procesado consume recursos computacionales. Por ello, las APIs de IA (como OpenAI o Anthropic) cobran por mil o millón de tokens. Un tokenizador eficiente permite que el modelo entienda más información con menos recursos, optimizando la ventana de contexto.

Además, errores en la tokenización pueden causar que el modelo falle en tareas simples, como contar cuántas letras tiene una palabra, ya que el modelo "ve" la palabra entera como un bloque y no sus letras individuales.