Prompt Engineering en producción

La ingeniería de prompts es una disciplina relativamente nueva que se centra en diseñar entradas efectivas para modelos de lenguaje grandes (LLMs). El objetivo es obtener respuestas precisas con el mínimo número de tokens posible, reduciendo así costes operativos. En esencia, un prompt bien diseñado puede marcar la diferencia entre una respuesta genérica y una solución útil y accionable.

Los LLMs son, en su núcleo, predictores estadísticos de la siguiente palabra (token). Entrenados con cantidades masivas de texto y la arquitectura Transformer, su mecanismo fundamental es sorprendentemente simple: dado un contexto, predecir qué token viene a continuación. Esta simplicidad escalada es lo que genera comportamientos aparentemente inteligentes.

La intuición central que guía toda la ingeniería de prompts es tratar al LLM como un «humano mecánico tonto»: no es inteligente en el sentido humano, sino un emparejador de patrones mecánico. Rinde mejor con lenguaje familiar, se distrae con contexto excesivo, no puede inferir información que no esté en el prompt o en sus datos de entrenamiento, y fallará si el prompt en sí mismo resulta confuso para un humano.

Few-shot prompting: Consiste en proporcionar al modelo varios ejemplos artesanales de la tarea deseada dentro del prompt. Al establecer un patrón predecible, el modelo se condiciona a continuar ese patrón y realizar la tarea (por ejemplo, ejemplos de traducción). Un hallazgo importante: los ejemplos pueden sesgar la respuesta, por lo que hay que seleccionarlos cuidadosamente.

Chain-of-Thought (CoT): Para mejorar el razonamiento, especialmente en matemáticas y lógica, CoT pide al modelo que «piense paso a paso». Esto proporciona un «espacio de borrador» externo que reemplaza la falta de monólogo interno del modelo. La simplificación más potente es añadir «Pensemos paso a paso», que elimina la necesidad de ejemplos curados y reduce el sesgo.

Document Mimicry (mimetismo de documentos): Es quizás la técnica más importante. Consiste en estructurar el prompt para que imite el formato de documentos que el modelo ha visto durante el entrenamiento (transcripciones, archivos markdown, código). Al usar encabezados familiares, roles y motivos (como markdown), el modelo predice mejor los siguientes tokens y produce salidas más relevantes y estructuradas.

Llevar la ingeniería de prompts a producción implica construir una capa de transformación entre el dominio del problema del usuario y el dominio del texto del LLM. La aplicación debe recopilar, clasificar, recortar y ensamblar el contexto (rutas de archivos, pestañas abiertas, documento actual) en un prompt estructurado, para luego transformar la respuesta del modelo en una acción útil para el usuario.

Los parámetros del modelo son cruciales en producción. La temperatura controla la aleatoriedad de la salida (0.0 produce respuestas deterministas, 1.0 máxima creatividad). En producción, la temperatura baja (0.0–0.2) es preferible para tareas que requieren precisión. El top-p (nucleus sampling) y los penalty de frecuencia/presencia ayudan a evitar repeticiones y a diversificar el vocabulario.

El coste es un factor determinante. Cada prompt cuesta dinero en función del consumo de tokens. Los desarrolladores deben escribir prompts concisos y válidos para obtener respuestas precisas minimizando costes. Esto es un principio central: la calidad del prompt afecta directamente a la calidad y al coste de la respuesta.

La transición a modelos basados en chat (como ChatGPT) introdujo una API estructurada con roles diferenciados (system, user, assistant). Este paradigma ofrece seguridad integrada, comportamiento controlado mediante mensajes del sistema y resistencia a la inyección de prompts, convirtiéndose en el marco dominante para construir aplicaciones con LLM.

El function calling (llamada a funciones) permite a los LLM interactuar con APIs externas. Definiendo funciones con nombres, descripciones y parámetros claros, el modelo puede elegir llamar a una herramienta (como `get_weather`) en lugar de generar una respuesta textual. La aplicación ejecuta la función y devuelve el resultado al modelo, permitiendo al LLM actuar sobre datos del mundo real.

Prakash Senapathi, en su taller de 157 minutos, enfatiza que la ingeniería de prompts es un dominio en evolución con alta demanda laboral. Muchas empresas contratan a recién titulados para roles de investigación, y la experiencia no siempre es un requisito. El campo ofrece buenas oportunidades de crecimiento, especialmente para quienes entran pronto.

Las mejores prácticas para prompt engineering en producción incluyen: usar el mensaje del sistema para establecer el comportamiento y las restricciones del modelo de forma consistente; iterar sobre los prompts midiendo el rendimiento con métricas objetivas; versionar los prompts como se versiona el código; implementar pruebas automatizadas que verifiquen que los cambios no introducen regresiones; y monitorizar el coste por token y la tasa de éxito.

El «mimetismo de documentos» es particularmente útil en producción. Si el formato de entrada se asemeja a documentos que el modelo ya conoce (JSON estructurado, markdown con encabezados, transcriptos de diálogos), la calidad de la respuesta mejora significativamente sin necesidad de ejemplos adicionales.

La lección final: no existe el prompt perfecto. La ingeniería de prompts es un proceso iterativo de refinamiento continuo, donde cada iteración revela nuevas aristas del comportamiento del modelo y nuevas oportunidades de optimización.

• Mr. Prakash Senapathi — *»Prompt Engineering — Strategies For Success With AI»* (YouTube). Duración: 157 min. URL: https://www.youtube.com/watch?v=2n-RIgSNnwQ
• Prompt Engineering Workshop — *»Hands-on Prompt Engineering»* (YouTube). Duración: 62 min. URL: https://www.youtube.com/watch?v=htBTho6oEJA

Atribución: Este artículo adapta material de las charlas de Prakash Senapathi y del Prompt Engineering Workshop.