Etiqueta: Inteligencia Artificial

  • Agentes conversacionales robustos

    Agentes conversacionales robustos

    Agentes conversacionales robustos


    1. Fundamentos de los agentes conversacionales

    Un agente conversacional es un sistema de IA diseñado para mantener diálogos naturales con humanos. A diferencia de un chatbot simple, que sigue reglas predefinidas, un agente conversacional utiliza un LLM para comprender intención, mantener contexto a lo largo de múltiples intercambios y generar respuestas coherentes y contextualmente relevantes.

    Thor Schaeff y Philipp Schmid (Google DeepMind) presentan un taller completo sobre construcción de agentes conversacionales, centrado en la nueva Gemini Interactions API. El objetivo es proporcionar a los desarrolladores las herramientas y patrones necesarios para construir agentes que no solo respondan preguntas, sino que mantengan conversaciones fluidas y significativas.

    La clave de un agente conversacional robusto no está solo en el modelo subyacente, sino en la arquitectura de gestión del diálogo: cómo se mantiene el estado de la conversación, cómo se manejan los cambios de tema, cómo se recuperan los errores y cómo se gestiona el contexto a largo plazo.

    2. La Interactions API y la gestión de estado

    La Gemini Interactions API es una interfaz unificada diseñada tanto para modelos como para agentes. Se alinea con estándares de la industria (como la API de chat completions de OpenAI), facilitando a los desarrolladores la construcción de agentes conversacionales.

    El primitivo central es la gestión de estado del lado del servidor (server-side state management). En lugar de que el desarrollador gestione y envíe manualmente el historial completo de la conversación, puede usar un `previous_interaction_id` para adjuntar nuevas entradas a una sesión existente. Esto simplifica los bucles del agente y mejora el caching implícito, logrando 2-3 veces mejores tasas de acierto de caché y ahorros de hasta el 90% en tokens de entrada.

    Para agentes de larga duración (como investigación profunda que toma minutos), la API soporta ejecución en segundo plano con polling o webhooks. Esto evita mantener conexiones HTTP abiertas durante períodos prolongados, una mejor práctica esencial para aplicaciones escalables.

    3. Arquitectura del agente conversacional

    La arquitectura típica incluye: un gestor de diálogo que mantiene el estado de la conversación y decide la siguiente acción; un reconocedor de intenciones que clasifica la entrada del usuario; un generador de respuestas que produce texto coherente; y un conjunto de herramientas que el agente puede invocar para realizar acciones (buscar información, actualizar registros, etc.).

    El taller de DeepMind utiliza «agent skills» (habilidades del agente) para guiar a los agentes de codificación. La skill proporciona instrucciones de alto nivel, modelos disponibles y enlaces a documentación viva en lugar de código estático y obsoleto. Esto permite a los agentes obtener la documentación más reciente de la API via web fetch, asegurando que usen las características actuales.

    La sesión práctica incluye la construcción de un agente de codificación desde cero. El agente incluye un constructor (con cliente GenAI y ID de modelo) y un método `run`. Luego se añaden herramientas (leer archivo, escribir archivo) definiendo un esquema JSON para el modelo y una implementación en Python.

    4. Interacciones multi-modelo y multi-agente

    La API Interactions soporta encadenar diferentes modelos y agentes en pocas líneas de código. Por ejemplo, un agente de investigación profunda puede producir un informe, y luego un modelo diferente (como Imagen) puede generar un visual a partir de ese output, todo usando la misma superficie de interacción y `previous_interaction_id`.

    Esto permite arquitecturas conversacionales complejas: un usuario conversa con un agente principal, que internamente consulta a otros agentes especializados, los cuales pueden usar modelos diferentes según la tarea. El usuario percibe una conversación única; internamente hay múltiples agentes colaborando.

    Las recomendaciones prácticas del taller: usa Gemini 2.0 Flash para agentes conversacionales rápidos y rentables; trata las claves de API como secretos (evita filtraciones en GitHub); y aprovecha el nivel gratuito (sin necesidad de tarjeta de crédito) para experimentación.

    5. Mejores prácticas para producción

    Para llevar agentes conversacionales a producción: implementa manejo de errores robusto (el agente debe saber decir «no sé» en lugar de alucinar); establece límites claros de contexto para evitar degradación en conversaciones largas; implementa detección de intenciones con respaldo (fallback) para cuando el agente no entiende; y monitoriza la tasa de abandono y la tasa de resolución en primera instancia.

    Un aspecto crítico: el agente debe interrumpir la conversación solo cuando sea necesario, no por cada duda interna. Las interacciones multi-modelo deben ser transparentes para el usuario — no necesita saber que detrás hay tres modelos diferentes trabajando.

    La conclusión del taller: los agentes conversacionales robustos no se construyen solo con un buen modelo, sino con una arquitectura cuidadosa de gestión de estado, manejo de errores, y experiencia de usuario fluida. La tecnología está madura para producción; lo que falta es el diseño cuidadoso de la interacción.


    Fuentes

    • Thor Schaeff & Philipp Schmid, Google DeepMind«Building Conversational Agents» (YouTube). Duración: 107 min. URL: https://www.youtube.com/watch?v=cVzf49yg0D8

    Atribución: Este artículo adapta material del taller de Thor Schaeff y Philipp Schmid (Google DeepMind) sobre construcción de agentes conversacionales.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Agentes conversacionales robustos.

  • Expertise de dominio en productos IA

    Expertise de dominio en productos IA

    expertise dominio productos. expertise dominio productos.

    expertise dominio productos.

    expertise dominio productos.

    Expertise de dominio en productos IA


    1. El valor del conocimiento de dominio

    Construir productos de IA no es solo cuestión de modelos y algoritmos. El factor diferenciador más importante es el conocimiento del dominio: entender profundamente el problema que se resuelve, los usuarios a los que se sirve y el contexto en el que operan.

    Chris Lovejoy (Notius Labs) introduce el concepto de «organización nativa de IA» (domain-native AI organization): una empresa donde el conocimiento del dominio está integrado en cada capa del producto y donde los equipos combinan expertos del dominio con ingenieros de IA de forma natural, no como departamentos separados.

    El problema actual: muchas empresas tienen equipos de IA centralizados que construyen soluciones sin entender el dominio, y equipos de dominio que no entienden las capacidades y limitaciones de la IA. El resultado son productos que resuelven problemas equivocados o que los resuelven de formas que los usuarios no pueden adoptar.

    2. Integración del expertise: organización nativa de IA

    Una organización nativa de IA se caracteriza por: los expertos del dominio participan activamente en el diseño del producto de IA, no solo como consultores sino como miembros del equipo de producto; los ingenieros de IA rotan por áreas de negocio para entender el contexto; las métricas de éxito se definen en términos del dominio, no en términos técnicos («precisión del 95%» no es suficiente si no se traduce en «reducción del 30% en tiempo de resolución»).

    Lovejoy propone que los mejores productos de IA nacen cuando un experto del dominio con conocimientos de IA (o un ingeniero de IA inmerso en el dominio) identifica un problema y sabe exactamente cómo la IA puede resolverlo. No hay sustituto para este entendimiento profundo.

    Ejemplo práctico: un hospital que desarrolla un agente de IA para clasificar urgencias. El equipo debe incluir médicos de urgencias (conocen el flujo de trabajo), enfermeros de triaje (conocen los criterios de clasificación), ingenieros de IA (saben construir el modelo) y personal de admisiones (conocen los datos disponibles). Ningún grupo por sí solo puede construir el producto correcto.

    3. Estrategias para construir expertise de dominio

    Lovejoy recomienda varias estrategias prácticas:

    1. Rotación de ingenieros de IA por áreas de negocio. Períodos de inmersión donde los ingenieros trabajan con equipos de dominio en sus problemas reales.

    2. Formación cruzada. Expertos del dominio aprenden lo suficiente de IA para especificar y validar; ingenieros aprenden lo suficiente del dominio para entender el contexto.

    3. Contratación dual. Buscar profesionales con experiencia tanto en el dominio como en IA. El perfil «híbrido» es escaso pero extremadamente valioso.

    4. Documentación compartida. Mantener una base de conocimiento común donde el equipo documenta tanto los aspectos técnicos como los de dominio, accesible a todos.

    5. Validación temprana con usuarios reales. Probar prototipos con usuarios del dominio desde el día uno, no solo métricas offline.

    4. El caso de RAG y fine-tuning con expertise

    El expertise de dominio es particularmente relevante en dos áreas técnicas: RAG y fine-tuning. Para RAG, el conocimiento del dominio determina qué fuentes de datos incluir, cómo estructurarlas y cómo evaluar la relevancia de los resultados. Un experto del dominio sabe qué documentos son realmente importantes, qué relaciones entre conceptos existen y cómo interpretar los resultados.

    Para fine-tuning, el expertise de dominio es esencial para curar los datos de entrenamiento. No se trata solo de tener muchos datos, sino de tener los datos correctos: ejemplos que representen los casos reales que el agente encontrará, incluyendo los casos límite y las excepciones.

    La combinación de modelos pequeños ajustados con expertise de dominio es particularmente potente. Un modelo pequeño, bien ajustado con datos curados por expertos, puede superar a un modelo mucho mayor sin ajuste en tareas específicas del dominio, a una fracción del coste.

    5. Midiendo el impacto del expertise de dominio

    El impacto del expertise de dominio se mide en la relevancia y utilidad del producto, no en métricas técnicas. Indicadores: tasa de adopción (¿los usuarios del dominio usan el producto?), tasa de resolución en primera instancia (¿el agente resuelve el problema sin escalar?), retroalimentación cualitativa (¿los usuarios sienten que el producto entiende su contexto?).

    La recomendación final: invierte tanto en expertise de dominio como en tecnología. Un modelo excelente sin conocimiento del dominio produce un producto irrelevante. Un conocimiento profundo del dominio con un modelo adecuado produce un producto transformador.


    Fuentes

    • Chris Lovejoy, Notius Labs«How to Leverage Domain Expertise» (AI Engineer). Duración: 24:45. URL: https://youtu.be/kfSDc2eVLo4

    Atribución: Este artículo adapta material de la charla de Chris Lovejoy (Notius Labs) en el canal AI Engineer.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Expertise de dominio en productos IA.

  • La crisis de accesibilidad GPU

    La crisis de accesibilidad GPU

    La crisis de accesibilidad GPU


    1. El cuello de botella del hardware

    Ejecutar modelos de lenguaje grandes requiere GPUs, y las GPUs son cada vez más difíciles de conseguir. La crisis de accesibilidad GPU es uno de los problemas más acuciantes del ecosistema de IA: los precios se disparan, los tiempos de espera se alargan y las empresas pequeñas quedan excluidas de la carrera.

    El curso «Open Models Coding Essentials» analiza esta realidad con datos concretos. Ejecutar modelos grandes localmente requiere configuraciones hardware que pueden costar más de 10.000 dólares. Modelos como Gemma 4 necesitan 24-32 GB de VRAM, muy por encima de los 8 GB de una RTX 4060 típica.

    Alquilar GPUs en la nube (AWS, CoreWeave) es posible pero difícil: la disponibilidad es limitada y los procesos de venta pueden ser lentos. Los modelos más demandados escasean, y las empresas pequeñas compiten por recursos con gigantes tecnológicos que pueden pagar precios muy superiores.

    2. Modelos abiertos como alternativa

    Los modelos abiertos (open models) ofrecen una alternativa a los modelos propietarios. Gemma, GLM, Kimmy, Qwen y otros modelos open-source pueden ejecutarse localmente o en la nube con costes reducidos. El curso identifica tres categorías: propósito general (Llama, Mistral, Gemma), optimizados para código (Code Llama, DeepCoder, Qwen 3.5) y optimizados para harness y tool use (Kimmy, GLM, MiniMax).

    Kimmy 2.5 destaca como el mejor modelo para coding harnesses. Gemma 4 sorprende por su bajo consumo de memoria, aunque necesita ventanas de contexto grandes. Qwen se queda atrás en tool calling.

    La ejecución local está limitada por el hardware. Para la mayoría de los usuarios, la opción práctica es la nube. Olama Cloud ($20-30/mes) ofrece el mejor equilibrio entre coste y rendimiento para modelos abiertos. Servicios más baratos suelen usar modelos altamente cuantizados que pierden calidad.

    3. Cuantización: el arte de comprimir modelos

    La cuantización es la técnica que permite ejecutar modelos grandes en hardware limitado reduciendo la precisión numérica de los pesos del modelo. Un modelo cuantizado de 8 bits ocupa la mitad que uno de 16 bits, con una pérdida mínima de calidad.

    La recomendación práctica: para la mayoría de las tareas, la cuantización a 8 bits (INT8) ofrece el mejor equilibrio entre tamaño y calidad. La cuantización a 4 bits (INT4) permite ejecutar modelos grandes en hardware modesto pero con pérdida notable de calidad, especialmente en tareas de razonamiento.

    Para agentes, la cuantización tiene un impacto directo: un modelo cuantizado puede ser más rápido (menos datos que mover) pero menos preciso (pierde capacidad de razonamiento). La decisión depende del caso de uso: para tareas simples de clasificación, INT4 puede ser suficiente; para razonamiento complejo, INT8 es el mínimo recomendado.

    4. Coding harnesses para modelos abiertos

    El curso evalúa varios coding harnesses para modelos abiertos. Claude Code funciona mejor con todos los modelos abiertos probados. PI Coding Agent destaca por su transparencia y extensibilidad. Goose CLI (Linux Foundation) es fiable para organizaciones grandes, aunque con una experiencia de usuario mejorable.

    El tool use (uso de herramientas) es la capacidad crítica: los modelos deben ser conscientes de las herramientas para editar archivos y seguir instrucciones agentic. Kimmy, GLM y MiniMax sobresalen aquí; Qwen y modelos antiguos fallan.

    Para la mayoría de los usuarios, la recomendación es: usa Claude Code con Olama Cloud. Los modelos abiertos son viables para ahorrar costes y mantener soberanía de datos, pero no pueden igualar a Claude Opus para tareas complejas.

    5. El futuro del acceso a hardware

    La crisis de GPUs no se resolverá a corto plazo. La demanda sigue superando a la oferta, y los nuevos procesos de fabricación (2nm, 1.4nm) tardarán años en llegar a producción a escala.

    Las tendencias que mitigarán el problema: modelos más pequeños y eficientes (tiny LLMs) que ofrecen rendimiento competitivo con una fracción de los recursos; cuantización y pruning cada vez más agresivos sin pérdida significativa de calidad; hardware especializado (NPUs, TPUs) para inferencia que reduce la dependencia de GPUs de propósito general; y computación distribuida que permite ejecutar modelos grandes en clusters de máquinas modestas.

    Para las startups y equipos pequeños, la estrategia recomendada es: prioriza modelos pequeños con fine-tuning sobre modelos grandes sin ajustar; usa servicios cloud de modelos abiertos (Olama Cloud, Together, Replicate) antes que alquilar GPUs; y optimiza el uso de tokens (prompts concisos, caching) para reducir costes de inferencia. La eficiencia es la nueva ventaja competitiva.


    Fuentes

    • Open Models Course«Open Models Coding Essentials — Running LLMs Locally and in the Cloud» (YouTube). Duración: 137 min. URL: https://www.youtube.com/watch?v=HNVaYYxmwLU

    Atribución: Este artículo adapta material del curso Open Models Coding Essentials.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: La crisis de accesibilidad GPU.

  • Descoordinación en sistemas multi-agente

    Descoordinación en sistemas multi-agente

    descoordinación sistemas multi agente. descoordinación sistemas multi agente.

    descoordinación sistemas multi agente.

    descoordinación sistemas multi agente.

    Descoordinación en sistemas multi-agente


    1. Cuando los agentes no se coordinan

    Los sistemas multi-agente prometen colaboración y eficiencia, pero la realidad es más compleja. Cuando múltiples agentes autónomos interactúan, la descoordinación (miscoordination) es la norma, no la excepción. Comprender por qué fallan los agentes al coordinarse es tan importante como diseñar cómo deberían coordinarse.

    El MASST Workshop identifica tres fuerzas desestabilizadoras principales: la mentalidad de «moverse rápido y romper cosas» frente a la seguridad proactiva; la automatización literal que no coincide con la realidad (el riesgo de Norbert Wiener); y los sistemas distribuidos en capas que crean desafíos de coordinación y sincronización.

    El conflicto entre la cultura tecnológica de «move fast and break things» y la seguridad proactiva (crear previsión sobre el riesgo antes de que ocurra el daño) es especialmente grave en IA. La trayectoria actual, advierten los ponentes, riesgo de convertirse en «mala praxis de seguridad y sistemas».

    2. El teorema de la conservación del desorden

    Un hallazgo fundamental: por mucho que mejores un sistema, el desorden reaparece en nuevas formas. La heurística «Messy Nine» identifica nueve formas en que el desorden se manifiesta: congestión, cascada, conflicto, saturación, retardo, fricción, múltiples ritmos, sorpresa y dependencias enredadas.

    En la práctica, al resolver un problema de coordinación, suele aparecer otro en un lugar diferente. Por ejemplo, al añadir un agente supervisor para mejorar la coordinación, el supervisor mismo se convierte en un cuello de botella o en un punto único de fallo.

    La lección para los arquitectos de sistemas: no existe un estado final «perfectamente coordinado». La coordinación es un proceso continuo de ajuste y respuesta a nuevas formas de desorden. Hay que diseñar para la adaptación, no para la perfección.

    3. Extensibilidad graceful

    La capacidad de un sistema para adaptarse antes de saturarse se denomina «graceful extensibility». En sistemas multi-agente, esto requiere reciprocidad: cuando un agente se acerca a la saturación, otros agentes deben expandir su capacidad para compensar.

    Esto contrasta con el diseño tradicional, donde cada agente tiene un límite fijo y cuando se alcanza, el sistema falla. La extensibilidad graceful requiere que los agentes monitoricen el estado de sus compañeros, anticipen cuellos de botella y se reconfiguren dinámicamente.

    Un ejemplo: en un sistema de agentes de atención al cliente, cuando el agente de primer nivel está saturado (muchas consultas simultáneas), los agentes de segundo nivel deberían poder absorber parte de la carga temporalmente, no esperar a que el primero falle para intervenir.

    4. Perspectiva y coordinación entre escalas

    Los sistemas están inherentemente en capas y enredados. La perspectiva (perspective taking) es crucial: los agentes deben entender cómo sus acciones afectan a otros niveles del sistema. Un agente que optimiza su propia tarea sin considerar el impacto en el sistema global puede causar descoordinación.

    Las dependencias circulares son especialmente problemáticas. Por ejemplo, la IA necesita energía, y la energía necesita IA para optimizar su producción. Cada dominio depende del otro, y la coordinación requiere experiencia en el momento para equilibrar objetivos en conflicto.

    La recomendación: diseñar agentes con conciencia contextual del sistema completo, no solo de su tarea inmediata. Esto puede lograrse mediante un contexto compartido (shared state) o mediante mensajes de coordinación entre agentes que incluyan información sobre el estado global.

    5. Arquitectura para joint activity

    La solución propuesta es diseñar para «joint activity» (actividad conjunta), donde los agentes son jugadores colaborativos conscientes de que forman parte de un sistema mayor. Esto requiere: configuración dinámica (los agentes se reconfiguran en función del contexto cambiante), visibilidad del estado de otros agentes, previsibilidad de acciones futuras (cada agente anuncia sus próximos pasos), y capacidad de interrupción (un agente puede pausar a otro si detecta un problema).

    El caso de estudio: la caída de AWS de octubre de 2020. Ilustra cómo las dependencias enredadas en capas en servicios digitales críticos producen disrupciones de amplio alcance. Estos fallos son relativamente raros porque la experiencia humana detecta los problemas regulares, pero a medida que los humanos son reemplazados por agentes, la detección temprana se vuelve más difícil.


    Fuentes

    • MASST Workshop«When AI Agents Misbehave and Fail to Coordinate: Architecting for Joint Activity» (YouTube). Duración: 36 min. URL: https://www.youtube.com/watch?v=_E7Pao2bB2c

    Atribución: Este artículo adapta material del MASST Workshop sobre modos de fallo en coordinación multi-agente.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Descoordinación en sistemas multiagente.

  • Agentes basados en eventos

    Agentes basados en eventos

    Agentes basados en eventos


    1. ¿Qué es un agente basado en eventos?

    Un agente basado en eventos (event-sourced agent) es un agente cuya lógica de negocio se construye sobre un flujo de eventos inmutable. En lugar de almacenar el estado actual del agente, se almacena una secuencia completa de eventos que representan todo lo que ha ocurrido. El estado actual se obtiene reproduciendo (replaying) esa secuencia.

    Jonas Tempelstein y Misha (Iterate) presentan este enfoque como una alternativa a los agentes tradicionales basados en estado mutable. La idea central: cada acción del agente, cada llamada a herramienta, cada decisión intermedia, cada cambio de estado se registra como un evento inmutable en un log. Si algo falla, se puede reproducir el flujo de eventos para entender exactamente qué ocurrió.

    El concepto no es nuevo en ingeniería de software (patrón event sourcing), pero su aplicación a agentes de IA es relativamente reciente. La naturaleza no determinista de los LLMs hace que la capacidad de reproducir decisiones sea especialmente valiosa: sin event sourcing, dos ejecuciones del mismo prompt pueden producir resultados diferentes y es imposible saber por qué.

    2. Arquitectura del event-sourced agent

    La arquitectura típica de un agente basado en eventos incluye: un stream processor (procesador de flujo) que consume eventos y produce nuevas acciones, un event store (almacén de eventos) que persiste la secuencia completa, y un harness (arnés) que envuelve al agente y gestiona el flujo de eventos.

    Cuando el agente recibe una solicitud, se genera un evento «SolicitudRecibida». El agente procesa la solicitud y genera eventos intermedios: «HerramientaSeleccionada», «HerramientaEjecutada», «ResultadoObtenido», «DecisiónTomada». Cada evento incluye metadatos: timestamp, modelo utilizado, temperatura, contexto, etc. Al final, se genera un evento «TareaCompletada» o «TareaFallida».

    El estado actual del agente se reconstruye proyectando los eventos relevantes. Si el agente se reinicia, reproduce los eventos desde el último checkpoint. Esto proporciona tolerancia a fallos, auditabilidad total y capacidad de depuración forense.

    3. Ventajas frente a agentes tradicionales

    Los agentes basados en eventos ofrecen ventajas significativas frente a los agentes tradicionales con estado mutable:

    Auditabilidad completa: cada decisión del agente está registrada con su contexto. Se puede responder a preguntas como «¿por qué el agente llamó a esa API?» o «¿qué datos vio cuando tomó esta decisión?».

    Reproducibilidad: dado el mismo flujo de eventos, se puede reproducir la ejecución exacta. Esto es imposible en agentes tradicionales no deterministas.

    Tolerancia a fallos: si el agente se cae a mitad de una tarea, al recuperarse reproduce los eventos y continúa desde donde lo dejó, sin perder trabajo.

    Depuración forense: los eventos permiten inspeccionar cada paso del agente, identificar dónde se desvió del comportamiento esperado, y entender las causas raíz de los fallos.

    Pruebas retrospectivas: se pueden inyectar flujos de eventos reales en nuevas versiones del agente para ver cómo se comportaría con datos históricos.

    4. Implementación con stream processors

    La implementación práctica utiliza tecnologías de procesamiento de flujos como Apache Kafka, Apache Flink, o soluciones más ligeras como RabbitMQ con almacenamiento persistente. El harness del agente se conecta al stream processor, que gestiona el flujo de eventos.

    El workshop práctico de Jonas y Misha demuestra cómo construir un harness básico: un loop que consume eventos del stream, los pasa al LLM para su procesamiento, y publica nuevos eventos con las acciones resultantes. El harness incluye manejo de errores, reintentos y checkpointing.

    Un detalle importante: los eventos deben diseñarse con un esquema claro que incluya no solo la acción, sino también el contexto completo en el momento de la decisión (estado del agente, herramientas disponibles, input del usuario). Sin este contexto, la reproducción no será fiel.

    5. Casos de uso y el futuro

    Los agentes basados en eventos son especialmente valiosos en dominios donde la auditabilidad es crítica: finanzas (cada decisión de trading debe ser justificable), salud (cada recomendación debe ser trazable), cumplimiento normativo (cada acción debe estar registrada).

    También son útiles en sistemas multi-agente complejos, donde múltiples agentes interactúan y es necesario rastrear quién hizo qué y cuándo. El flujo de eventos compartido permite reconstruir la secuencia completa de interacciones.

    La tendencia futura apunta hacia la combinación de event sourcing con observabilidad: los eventos no solo sirven para reproducción, sino que alimentan dashboards en tiempo real, sistemas de alertas y análisis de comportamiento. El flujo de eventos se convierte en la fuente única de verdad (single source of truth) para todo el sistema de agentes.


    Fuentes

    • Jonas Tempelstein & Misha, Iterate«Make your own event-sourced agent harness using stream processors» (AI Engineer). Duración: 1:04:26. URL: https://youtu.be/vi-2nasppAg

    Atribución: Este artículo adapta material del workshop de Jonas Tempelstein y Misha (Iterate) en el canal AI Engineer.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Agentes basados en eventos.

  • Liderazgo en equipos técnicos de IA

    Liderazgo en equipos técnicos de IA

    liderazgo equipos técnicos. liderazgo equipos técnicos.

    liderazgo equipos técnicos.

    liderazgo equipos técnicos.

    Liderazgo en equipos técnicos de IA


    1. Liderazgo vs. gestión en el contexto de IA

    Seth Godin establece una distinción fundamental que resuena especialmente en los equipos técnicos de IA: la gestión mantiene sistemas; el liderazgo crea cambios. La gestión se basa en la autoridad y el cumplimiento de especificaciones; el liderazgo implica asumir responsabilidad sin esperar permiso.

    En un equipo de IA, la gestión se manifiesta en los procesos establecidos: sprints, retrospectivas, métricas, pipelines de CI/CD. Son necesarios, pero no suficientes. El liderazgo emerge cuando alguien —con o sin título— decide resolver un problema nuevo, proponer un enfoque diferente o asumir la responsabilidad de un resultado incierto.

    La metáfora de Godin: un director de orquesta (líder) reinterpreta una partitura clásica, mientras que un gerente (gestor) se asegura de que todos toquen la nota correcta en el momento exacto. Ambos son necesarios, pero son roles diferentes. Confundirlos es uno de los errores más comunes en las organizaciones técnicas.

    2. Responsabilidad vs. autoridad en equipos de IA

    Los gestores confían en la autoridad para mandar; los líderes asumen responsabilidad sin esperar autorización. En los equipos de IA, donde la incertidumbre y la experimentación son constantes, la autoridad formal rara vez basta. Los mejores ingenieros de IA siguen a quienes resuelven problemas, no a quienes tienen el título más alto.

    Godin ilustra esto con el director de orquesta Ben Zander, que reinterpreta Beethoven a pesar de no tener «autoridad» sobre la partitura. En IA, el equivalente es el ingeniero que decide probar un enfoque diferente al planificado porque los datos le dicen que el plan original no funciona, sin esperar la aprobación de su jefe.

    Las organizaciones que fomentan esta asunción de responsabilidad obtienen mejores resultados. Las que exigen autorización para cada desviación del plan generan equipos que siguen instrucciones aunque sean incorrectas, porque nadie quiere asumir la responsabilidad de corregir el rumbo.

    3. Calidad vs. excelencia en productos de IA

    Godin distingue entre calidad (cumplir especificaciones) y excelencia (cuidado y juicio humano). La calidad es fácil de automatizar con IA; la excelencia requiere liderazgo.

    En la práctica: un modelo de IA entrenado para generar informes financieros puede cumplir todas las especificaciones (calidad), pero un humano experto puede detectar que el informe ignora un factor contextual relevante (excelencia). La calidad se mide con métricas; la excelencia se reconoce con juicio.

    Para los equipos de IA, esto significa que no basta con que el modelo pase las pruebas automatizadas. Necesitan líderes técnicos que pregunten: «¿Esto es correcto?» y también «¿Esto es útil? ¿Es relevante para el usuario? ¿Considera factores que no están en los datos de entrenamiento?»

    4. El miedo al error y el «bloqueo del líder»

    Godin identifica el miedo a asumir responsabilidad como el principal obstáculo para el liderazgo. Lo llama «bloqueo del líder» (leader’s block), análogo al bloqueo del escritor. La solución es elegir actuar.

    En los equipos de IA, este bloqueo se manifiesta como parálisis por análisis: esperar a tener el conjunto de datos perfecto antes de entrenar, retrasar el lanzamiento por miedo a que el modelo alucine, evitar decisiones arquitectónicas por si resultan incorrectas.

    Los líderes técnicos efectivos reconocen que una mala decisión basada en un proceso sólido es mejor que ninguna decisión. Godin cita a Jeff Bezos y Steve Jobs como ejemplos de líderes que actuaron con información incompleta, confiando en su criterio y en su capacidad de corrección.

    5. Diseño thinking para productos de IA

    El diseño de productos de IA, como cualquier diseño, empieza con dos preguntas: «¿Para quién es?» (nunca todo el mundo) y «¿Qué cambio buscamos generar?» La especificidad y la intención determinan el éxito.

    Un ejemplo: un equipo construye un chatbot para atención al cliente. Si la respuesta a «¿para quién es?» es «todos los clientes», el producto será genérico y mediocre. Si es «clientes premium que hacen más de 10 compras al año y necesitan respuestas rápidas sobre envíos», el producto puede ser excelente para ese segmento.

    El liderazgo en equipos de IA implica tomar estas decisiones de diseño con valentía, incluso cuando implican decir «no» a ciertos usuarios o funcionalidades. Es más fácil construir un producto que funcione excelentemente para un segmento concreto que uno que funcione regular para todos.


    Fuentes

    • Seth Godin«Leadership vs. Management — What it means to make a difference» (YouTube). Duración: 42 min. URL: https://www.youtube.com/watch?v=qzoIAJYPQwo

    Atribución: Este artículo adapta material de la charla de Seth Godin sobre liderazgo vs. gestión.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Liderazgo en equipos técnicos de IA.

  • Porter y ventaja competitiva con IA

    Porter y ventaja competitiva con IA

    porter ventaja competitiva. porter ventaja competitiva.

    porter ventaja competitiva.

    porter ventaja competitiva.

    Porter y ventaja competitiva con IA


    1. Eficacia operativa no es estrategia

    Michael Porter estableció una distinción fundamental que la era de la IA hace más relevante que nunca: la eficacia operativa no es estrategia. Hacer las cosas mejor que los competidores (mejores prácticas, procesos optimizados, tecnología superior) es necesario pero no suficiente. Las mejoras operativas se copian. La estrategia, en cambio, consiste en hacer cosas diferentes.

    En la era de la IA, muchas empresas caen en la trampa de usar IA solo para mejorar la eficacia operativa: automatizar procesos, reducir costes, acelerar tareas. Esto es valioso, pero no crea ventaja competitiva sostenible porque cualquier competidor puede hacer lo mismo. La IA es una tecnología horizontal; por sí sola no diferencia.

    La verdadera pregunta estratégica es: ¿Qué actividades únicas puede hacer mi empresa combinando IA con nuestra propuesta de valor? No se trata de tener el mejor modelo, sino de usarlo de formas que los competidores no pueden replicar fácilmente porque están integradas en un sistema de actividades que se refuerzan mutuamente.

    2. La estrategia se basa en actividades únicas

    Una estrategia exitosa se define por lo que haces de forma diferente, no por tu misión o valores. El ejemplo clásico de Porter es IKEA: la empresa sueca no compite ofreciendo el mismo servicio que otras tiendas de muebles, sino que ofrece una experiencia radicalmente distinta (autoservicio, muebles desmontables, grandes almacenes en las afueras).

    Aplicado a la IA: una empresa no debería preguntarse «¿cómo usamos IA para hacer lo mismo que hacemos, pero más barato?» sino «¿cómo podemos usar IA para hacer algo que nadie más hace?». Un banco puede usar IA para ofrecer asesoramiento financiero personalizado 24/7 (actividad única), no solo para automatizar su centro de llamadas (eficacia operativa).

    Las actividades únicas basadas en IA pueden ser: un modelo entrenado con datos propietarios que nadie más tiene, un flujo de trabajo agentic que integra múltiples fuentes de datos internas, o una experiencia de usuario que combina predicciones de IA con intervención humana en el momento óptimo.

    3. Los trade-offs son esenciales

    La estrategia sostenible requiere renuncias deliberadas. IKEA renuncia explícitamente a la personalización y al servicio de atención extensivo para centrarse en muebles asequibles y funcionales. Sin renuncias, no hay estrategia — solo intentar complacer a todos, que es la receta para no destacar en nada.

    En IA, los trade-offs estratégicos incluyen: ¿usamos modelos públicos y baratos o entrenamos modelos propietarios caros? ¿Priorizamos la precisión (más lentos y caros) o la velocidad (menos precisos pero más rápidos)? ¿Automatizamos completamente o mantenemos supervisión humana? ¿Compartimos datos con proveedores externos o mantenemos todo on-premise?

    Las decisiones correctas dependen de la estrategia de la empresa. Una startup que compite en velocidad puede priorizar modelos ligeros y rápidos aunque sean menos precisos. Un banco que compite en confianza priorizará la precisión y la seguridad aunque sea más lento. Ambos pueden tener razón si sus trade-offs son coherentes con su estrategia.

    4. El fit como núcleo de la ventaja competitiva

    El poder real de la estrategia viene de cómo encajan las actividades entre sí. Porter identifica tres niveles de fit: consistencia simple (todas las actividades se alinean con el mismo objetivo), actividades reforzantes (una actividad fortalece a otra), y optimización del esfuerzo (las actividades eliminan la necesidad de otras).

    En IKEA, el diseño modular hace factible el autoservicio, y el autoservicio reduce la necesidad de personal de ventas. Las piezas planas reducen los costes de transporte, y los grandes almacenes en las afueras abaratan el alquiler. Todo encaja.

    Para una empresa que usa IA, el fit estratégico significa que las capacidades de IA se refuerzan mutuamente: los datos generados por los agentes mejoran los modelos, los modelos mejoran los agentes, y los agentes mejoran la experiencia del cliente, que genera más datos. Es un círculo virtuoso que los competidores no pueden replicar comprando el mismo modelo de IA.

    5. Aplicación práctica para startups y empresas

    El marco de Porter es aplicable a cualquier proyecto o empresa de IA. Las preguntas clave son: ¿Qué actividades únicas defines para tu empresa usando IA? ¿Qué trade-offs estás haciendo (y qué estás decidiendo no hacer)? ¿Cómo encajan tus actividades de IA entre sí para crear un sistema que se refuerce?

    La recomendación concreta: antes de invertir en una nueva capacidad de IA, pregúntate si esta capacidad crea una actividad única, si refuerza otras actividades existentes y si requiere renuncias que tus competidores no están dispuestos a hacer. Si la respuesta es no, es probable que sea eficacia operativa, no estrategia.


    Fuentes

    • Michael Porter / Visual Summary«What is Strategy? by Michael Porter — A Visual Summary» (YouTube). Duración: 13 min. URL: https://www.youtube.com/watch?v=NO-RCuqp8IA

    Atribución: Este artículo adapta material del resumen visual de la estrategia de Michael Porter.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Porter y ventaja competitiva con IA.

  • Pricing de agentes de IA

    Pricing de agentes de IA

    pricing agentes. pricing agentes.

    pricing agentes.

    pricing agentes.

    Pricing de agentes de IA


    1. El desafío único del pricing en IA

    Las empresas de IA crecen 3 veces más rápido que el SaaS tradicional (20 meses para alcanzar 20M$ ARR frente a 65 meses del SaaS), pero se enfrentan a desafíos únicos de fijación de precios: márgenes bajos, costes de cómputo impredecibles (33% lo citan como problema), dificultad para definir el valor (41%), y precios que no pueden seguir el ritmo de la rápida evolución del producto (84%).

    Mayank Pant (Stripe) presenta un marco completo para afrontar estos desafíos. La conclusión principal: los modelos de precios tradicionales (suscripción pura o uso puro) son insuficientes para productos de IA. El modelo híbrido —tarifa base más costes por uso— se ha convertido en el dominante, pasando del 6% al 41% de adopción, con un 56% de líderes de IA usándolo actualmente.

    El modelo híbrido equilibra ingresos predecibles con protección de márgenes y permite a los clientes experimentar sin comprometerse a grandes suscripciones. La tarifa base cubre los costes fijos; la tarifa de uso escala con el valor que el cliente obtiene.

    2. La iteración como ventaja competitiva

    El primer precio es una hipótesis, no un compromiso. Las empresas hipercrecimiento (100%+ de crecimiento interanual) cambian sus precios 3 o más veces en 2 años, mientras que las empresas de bajo crecimiento rara vez lo hacen. Los cambios frecuentes de precios son una señal de crecimiento y adaptación.

    La infraestructura de facturación determina la velocidad de iteración. Si los cambios requieren 3-4 meses de trabajo de ingeniería, la iteración es imposible. El 78% de las empresas de IA construyen sobre Stripe, que soporta suscripción, uso y pricing híbrido, además de funciones empresariales como compromisos mínimos y precios por excedente.

    La recomendación: establecer desde el día uno una infraestructura de facturación flexible que permita cambiar precios en horas, no en meses. La velocidad de iteración en pricing es una ventaja competitiva en sí misma.

    3. Marco de los cinco pasos

    Mayank Pant propone un marco de cinco pasos para fijar precios de IA:

    1. Define el valor desde la perspectiva del cliente. ¿El producto ofrece automatización (ahorro de tiempo), aumento (mejor calidad con el mismo equipo), servicio mejorado (acceso propietario) o resultados mejorados (impacto directo en resultados)?

    2. Elige la métrica de cobro. Puede ser consumo (tokens, llamadas API), flujo de trabajo (informes generados, análisis completados) o basada en resultados (ventas cerradas, ahorro conseguido).

    3. Selecciona el modelo de precios. El híbrido es el recomendado para la mayoría de los casos.

    4. Construye salvaguardas. Límites de uso, notificaciones automáticas al 50/70/90%, recargas manuales o automáticas, y limitación de tasa.

    5. Itera continuamente. Mide, aprende y ajusta.

    El principio fundamental: el precio debe reflejar el valor percibido por el cliente, no el coste de los recursos. El 53% de las empresas hipercrecimiento usan precios basados en valor frente al 26% de las de bajo crecimiento.

    4. Créditos como capa de abstracción

    Los créditos son el mecanismo más potente para gestionar la complejidad del pricing en IA. Agrupan funcionalidades en unidades de crédito que el cliente entiende: «100 créditos» en lugar de «10.000 tokens de entrada + 500 de salida + 3 llamadas a una API externa».

    Las ventajas: los precios visibles para el cliente se mantienen estables mientras que internamente se puede ajustar lo que representa cada crédito. Cuando los costes de un componente cambian (un modelo se abarata o una API externa sube), se ajusta la contabilidad interna sin cambiar los precios al cliente.

    Los créditos también permiten empaquetar funcionalidades: una acción compleja puede costar 5 créditos mientras que una simple cuesta 1 crédito. Esto abstrae la complejidad técnica y alinea el precio con el valor percibido.

    5. Salvaguardas y confianza del cliente

    Las facturas incorrectas erosionan la confianza del cliente. Las salvaguardas son esenciales: límites de uso (el cliente establece su límite máximo), notificaciones automáticas (alertas al 50%, 70% y 90% del límite), recargas automáticas o manuales, y limitación de tasa para evitar picos inesperados.

    El principio de diseño: «Precio justo, pero no sorprendas». Los clientes deben tener control total sobre su gasto. Sin salvaguardas, un cliente puede recibir una factura muy superior a lo esperado y cancelar el servicio.

    Para equipos que lanzan productos de IA: habla con los clientes que se han dado de baja para distinguir si el problema es product-market fit o pricing. Ejecuta tests A/B de precios. Mantén los precios anteriores para clientes existentes cuando subas precios para nuevos usuarios. Y alinea continuamente el precio con el valor a medida que las funcionalidades evolucionan.


    Fuentes

    • Mayank Pant, Stripe«Mastering AI Pricing» (YouTube). Duración: 24 min. URL: https://www.youtube.com/watch?v=CrqPcIZOOXA

    Atribución: Este artículo adapta material de la charla de Mayank Pant (Stripe) sobre estrategias de pricing para IA.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Pricing de agentes de IA.

  • Context Graphs: memoria en IA

    Context Graphs: memoria en IA

    context graphs memoria. context graphs memoria.

    context graphs memoria.

    context graphs memoria.

    Context Graphs: memoria en IA


    1. ¿Qué son los context graphs?

    Un context graph (grafo de contexto) es una estructura de datos que conecta entidades, documentos y relaciones en un grafo de conocimiento. Permite a los agentes navegar contextos complejos de forma estructurada, en lugar de tratar el contexto como un bloque de texto plano.

    Stephen Chin (Neo4j) explica que la memoria de los LLMs es inherentemente plana: una secuencia de tokens sin estructura interna. Los context graphs añaden una dimensión semántica, donde cada elemento está conectado a otros por relaciones significativas. Esto permite a los agentes seguir «hilos» de información en lugar de buscar a ciegas en un mar de texto.

    La metáfora es la de un cerebro humano: no recordamos hechos aislados, sino redes de conceptos interconectados. Al ver una foto de una persona, recordamos su nombre, dónde la conocimos, qué conversación tuvimos. Los context graphs imitan esta estructura asociativa, permitiendo a los agentes acceder a información relevante por proximidad semántica.

    2. Conexión con RAG y búsqueda agentic

    Los context graphs se integran naturalmente con RAG (Retrieval-Augmented Generation). Mientras que RAG tradicional recupera documentos por similitud vectorial, un context graph permite recuperar información por relaciones: «dame todos los documentos relacionados con este proyecto», «muéstrame las personas que trabajaron en esta característica», «¿qué decisiones se tomaron en esa reunión?».

    La evolución hacia RAG agentic potencia aún más los context graphs. En lugar de un pipeline fijo de recuperación, el agente decide qué caminos seguir dentro del grafo, qué relaciones explorar y cuándo detenerse. Esto convierte la recuperación de información en un proceso activo y dirigido por el agente, no en una búsqueda pasiva.

    Por ejemplo, un agente puede navegar el context graph de una organización: empezar por un documento técnico, seguir la relación «autor» hasta la persona que lo escribió, luego «proyecto actual» para ver en qué está trabajando, y finalmente «ticket relacionado» para encontrar un bug abierto. Todo esto sin intervención humana.

    3. Implementación con bases de datos de grafos

    Neo4j es la base de datos de grafos líder para implementar context graphs. Stephen Chin describe cómo el equipo de relaciones con desarrolladores de Neo4j utiliza grafos para conectar el conocimiento técnico: los vídeos de YouTube están vinculados a los ponentes, los ponentes a las empresas, las empresas a los productos, los productos a las tecnologías.

    La estructura básica de un context graph incluye: nodos (entidades como personas, documentos, proyectos, reuniones), relaciones (conexiones como «autor de», «participó en», «relacionado con»), y propiedades (metadatos como fechas, etiquetas, resúmenes). Los agentes navegan este grafo mediante consultas en Cypher (el lenguaje de consulta de Neo4j).

    Las ventajas frente a bases de datos vectoriales puras: las relaciones son explícitas y semánticas (no solo «es similar a»), permiten consultas multi-salto (encontrar personas que trabajaron en proyectos similares al proyecto X), y mantienen la trazabilidad de las conexiones. La desventaja: requieren modelado previo de las relaciones, mientras que las bases vectoriales pueden operar sobre texto no estructurado.

    4. Casos de uso prácticos

    Los context graphs tienen aplicaciones directas en varios dominios:

    Asistencia al desarrollador: un agente navega el grafo de código fuente, documentación, issues y PRs para responder preguntas complejas como «¿Quién introdujo este bug y por qué?».

    Atención al cliente: el grafo conecta clientes, productos, incidencias, soluciones y agentes. Cuando un cliente contacta, el agente navega el grafo para encontrar el historial completo del cliente, productos que tiene, incidencias previas y soluciones probadas.

    Gestión del conocimiento empresarial: el grafo conecta documentos, reuniones, decisiones, personas y proyectos. Los agentes pueden responder preguntas como «¿Qué se decidió en la reunión del proyecto X de marzo y quién lo decidió?».

    Investigación científica: el grafo conecta artículos, autores, experimentos, datasets y resultados. Los agentes navegan para encontrar papers relacionados, replicar experimentos o identificar tendencias.

    5. El futuro: memoria persistente para agentes

    La combinación de context graphs con agentes abre la puerta a la memoria persistente. Hoy, la mayoría de los agentes tienen memoria efímera: olvidan todo entre sesiones. Con un context graph, los agentes pueden mantener, actualizar y consultar conocimiento acumulado a lo largo del tiempo.

    Esto permite agentes que «recuerdan» las preferencias del usuario, el historial de interacciones, los proyectos en curso y el contexto organizacional. La próxima vez que interactúan, no empiezan desde cero: navegan su grafo de memoria para recuperar el estado anterior.

    El desafío actual es la integración fluida entre LLMs y grafos. Los LLMs no están diseñados para navegar grafos de forma nativa; necesitan herramientas (consultas Cypher) y razonamiento para elegir los caminos correctos. Pero a medida que los modelos mejoran en razonamiento multi-salto y planificación, los context graphs se convertirán en el estándar de facto para la memoria de agentes.


    Fuentes

    • Stephen Chin, Neo4j«Connecting the Dots with Context Graphs» (AI Engineer). Duración: 17:38. URL: https://youtu.be/eW_vxrjvERk

    Atribución: Este artículo adapta material de la charla de Stephen Chin (Neo4j) en el canal AI Engineer.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Context Graphs memoria en IA.

  • Observabilidad en sistemas de agentes

    Observabilidad en sistemas de agentes

    observabilidad sistemas agentes. observabilidad sistemas agentes.

    observabilidad sistemas agentes.

    observabilidad sistemas agentes.

    Observabilidad en sistemas de agentes


    1. Por qué la observabilidad es diferente para agentes

    Los fallos de los agentes son fundamentalmente distintos de los fallos del software tradicional. Un agente es no determinista, no acotado y puede usar herramientas para afectar arbitrariamente a otros sistemas. Una misma instrucción puede producir caminos de ejecución completamente diferentes en cada invocación. Esto hace que las pruebas tradicionales y las evaluaciones offline sean insuficientes.

    Amy Boyd y Nitya (Microsoft Foundry) plantean la metáfora del «mind the gap» (cuidado con el hueco) londinense: hay una brecha entre lo que esperamos que haga un agente y lo que realmente hace. Esa brecha solo puede entenderse mediante observabilidad en producción, no mediante pruebas de laboratorio.

    La observabilidad en agentes no es un lujo: es una necesidad de seguridad. Un agente que toma decisiones autónomas puede ejecutar acciones costosas, acceder a datos sensibles o tomar atajos peligrosos sin que el desarrollador lo sepa. La única forma de detectarlo es monitorizando cada paso de su ejecución.

    2. Señales explícitas e implícitas

    La observabilidad efectiva se apoya en dos categorías de señales. Las señales explícitas son métricas objetivas y verificables: tasa de error, latencia, coste por tarea, tasa de regeneración. Son fáciles de medir y comparar, pero no capturan la calidad semántica del trabajo del agente.

    Las señales implícitas son semánticas y más difíciles de detectar: patrones de regex, clasificadores binarios y autodiagnósticos. Las señales implícitas más efectivas no son valoraciones genéricas tipo «LLM-as-a-judge», sino clasificadores binarios específicos: rechazos, fallo de tarea, frustración del usuario, jailbreaking, brechas de capacidad.

    La clave está en rastrear la tasa de estos problemas específicos a lo largo del tiempo. Un incremento en la tasa de frustración del usuario tras un cambio en el prompt es mucho más accionable que una puntuación genérica de calidad que no dice dónde está el problema.

    3. Autodiagnósticos: la técnica de alto impacto

    Una de las técnicas más potentes y sencillas para la observabilidad de agentes son los autodiagnósticos (self-diagnostics). Consiste en añadir una herramienta «report» al conjunto de herramientas del agente e indicarle en el prompt del sistema que informe de incidencias a sus creadores.

    Esta técnica puede detectar: brechas de capacidad (el agente sabe que no puede hacer algo), fallos de herramientas (una API devuelve un error inesperado), y atajos no deseados (un agente que evita una herramienta de escritura rota usando bash directamente).

    El problema del «modelo pulido»: los modelos están entrenados para ser educados y se resisten a autoinculparse. Para que funcione, la herramienta debe presentarse de forma neutra («report» o «feedback al creador») en lugar de negativa («comportamiento inseguro»). El prompt debe animar a informar de «cualquier cosa destacable», no solo de «fallos».

    4. Experimentos A/B en producción

    Una vez establecidas las señales de observabilidad, habilitan un potente flujo de trabajo de experimentación A/B en producción. Al enviar un cambio (un nuevo prompt, un modelo diferente, una herramienta nueva) a un porcentaje de usuarios y comparar las tasas de señal (como frustración del usuario o tasa de regeneración) contra un grupo de control, los equipos pueden validar cambios rápidamente.

    Este enfoque es más potente que las evaluaciones offline porque mide el comportamiento real de los usuarios, no el comportamiento esperado en un conjunto de datos curado. Permite detectar regresiones sutiles que las evaluaciones predefinidas no capturarían.

    La tasa de regeneración es una métrica especialmente reveladora: con qué frecuencia el usuario o el propio agente solicita regenerar una respuesta. Una tasa alta indica problemas de calidad no capturados por otras métricas. Combinada con la tasa de abandono (el usuario cierra la sesión tras una interacción fallida), ofrece una imagen clara de la salud del agente.

    5. La paradoja del «último problema de la humanidad»

    La observabilidad de agentes se enmarca como un desafío crítico y creciente. A medida que los agentes se vuelven más complejos, ejecutan tareas más largas y se despliegan en dominios de alto riesgo (salud, finanzas, defensa), la capacidad de los humanos para monitorizarlos manualmente se vuelve imposible.

    La paradoja: cuanto más autónomo y capaz es un agente, menos podemos entender lo que hace simplemente observando sus salidas. Necesitamos sistemas de observabilidad automatizados que puedan rastrear, analizar y alertar sobre el comportamiento del agente sin intervención humana.

    El camino a seguir incluye: trazado detallado de cada paso del agente (tool calls, decisiones intermedias, tiempos), dashboards en tiempo real con señales explícitas e implícitas, alertas automáticas cuando las métricas se desvían de lo esperado, y capacidad de reproducción de sesiones para depuración forense. La observabilidad no es un añadido: es la base sobre la que se construyen agentes fiables.


    Fuentes

    • Amy Boyd & Nitya, Microsoft Foundry«Mind the Gap (In your Agent Observability)» (AI Engineer). Duración: 1:20:07. URL: https://youtu.be/iOXM3zE-2dk
    • Danny Gollapalli & Zubin Koticha, Raindrop«Everything You Need To Know About Agent Observability» (YouTube). Duración: 50 min. URL: https://www.youtube.com/watch?v=-aM2EDTiaMs

    Atribución: Este artículo adapta material de las charlas de Amy Boyd y Nitya (Microsoft Foundry) y de Danny Gollapalli y Zubin Koticha (Raindrop) en el canal AI Engineer.


    Artículos relacionados

    Recursos en línea

    Ver también: PARTE 3: La Habana 1762: cuando la logística falló | Viento en las velas: cómo la Royal Navy venció al escorbuto. Fuente: Observabilidad en sistemas de agentes.