El proceso paso a paso

1. Obtener el corpus

Descargamos el dump completo de Wikipedia en español desde Wikimedia (~4.8 GB comprimido):

curl -L -o eswiki-latest-pages-articles.xml.bz2 \
  "https://dumps.wikimedia.org/eswiki/latest/eswiki-latest-pages-articles.xml.bz2"

Luego extraemos el texto de las páginas con un script Python que lee el XML comprimido directamente, procesando en fragmentos de 8 MB para no saturar la RAM.

Resultado: ~18 GB de texto, ~270 millones de líneas, ~4.8 millones de páginas.

2. Entrenar el BPE

Con el corpus listo, entrenar el tokenizador es sorprendentemente simple gracias a la librería tokenizers de Hugging Face:

from tokenizers import Tokenizer, models, trainers, pre_tokenizers

tokenizer = Tokenizer(models.BPE(unk_token=""))
tokenizer.pre_tokenizer = pre_tokenizers.ByteLevel(add_prefix_space=True)

trainer = trainers.BpeTrainer(
    vocab_size=128000,
    special_tokens=["", "", "", "", ""],
    min_frequency=2,
)

# Alimentar línea por línea (18 GB, streaming)
for line in open("wikipedia-es.txt", encoding="utf-8"):
    tokenizer.train_from_iterator([line.strip()], trainer)

tokenizer.save("bpe-espanol-128k.json")

El proceso tarda unos 21 minutos en CPU y consume ~3 GB de RAM. No necesita GPU.

3. Los resultados

El tokenizador aprende «aprendizaje» como un solo token, «procesamiento» como uno solo, «desafortunadamente» como dos. Frases que antes necesitaban 11 tokens ahora caben en 4.

El contraejemplo: «fine tuning» (inglés) necesita 3 tokens con nuestro BPE español frente a 2 con tiktoken. Esto confirma que el tokenizador aprende del idioma del corpus — no es mejor ni peor, es específico del idioma.

El tokenizador está disponible

Puedes descargarlo y usarlo desde nuestro repositorio en GitHub:

https://github.com/Carlos-droid/bpe-espanol

from tokenizers import Tokenizer

tokenizer = Tokenizer.from_file("bpe-espanol-128k.json")

texto = "Hola, ¿cómo estás? Bienvenido al mundo de los LLMs."
encoded = tokenizer.encode(texto)
print(f"Tokens: {encoded.tokens}")    # Solo 6 tokens
print(f"IDs:    {encoded.ids}")

Qué hemos aprendido

1. BPE aprende del corpus, no de reglas. No necesita saber qué es un diptongo.

2. La escala importa. Con 6.5 MB los resultados fueron mediocres; con 18 GB son excelentes.

3. Cada idioma necesita su tokenizador. Usar el de GPT-2 para español duplica los tokens.

4. Entrenar un tokenizador es barato. 21 minutos en cualquier CPU, sin GPU.

Este tokenizador es el primer paso para construir nuestro propio modelo de lenguaje en español. En los próximos artículos lo usaremos para alimentar un transformer que entrenaremos desde cero en nuestra GTX 1070.

📚 Fuentes y recursos

– Repositorio del proyecto: https://github.com/Carlos-droid/bpe-espanol

– Artículo principal de la serie: Tokenización y Embeddings

– Hugging Face Tokenizers: https://github.com/huggingface/tokenizers

– Wikipedia dump: https://dumps.wikimedia.org/eswiki/

– Serie original de Giles Thomas (CC BY 4.0): https://www.gilesthomas.com/2024/12/llm-from-scratch-1