Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 35 horas
Temario del curso
Introducción y fundamentos del diagnóstico
- Resumen de los modos de fallo en sistemas LLM y problemas específicos de Ollama
- Establecimiento de experimentos reproducibles y entornos controlados
- Conjunto de herramientas de depuración: registros locales, capturas de solicitud/respuesta y sandboxing
Reproducción y aislamiento de fallos
- Técnicas para crear ejemplos de fallo mínimos y semillas
- Interacciones con estado frente a sin estado: aislamiento de errores relacionados con el contexto
- Determinismo, aleatoriedad y control del comportamiento no determinista
Evaluación del comportamiento y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y subrogados de perplejidad
- Evaluaciones cualitativas: puntuación con participación humana y diseño de rúbricas
- Comprobaciones de fidelidad específicas de la tarea y criterios de aceptación
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenario y de extremo a extremo
- Creación de suites de regresión y líneas base de ejemplos de oro (golden examples)
- Integración de CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizadas
Observabilidad y monitoreo
- Registro estructurado, trazas distribuidas e IDs de correlación
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad
- Alertas, tableros de control (dashboards) y SLI/SLO para servicios respaldados por modelos
Análisis avanzado de la causa raíz
- Trazado de prompts graficados, llamadas a herramientas y flujos de múltiples turnos
- Diagnóstico comparativo A/B y estudios de ablación
- Procedencia de datos, depuración de conjuntos de datos y abordaje de fallos inducidos por el conjunto de datos
Seguridad, robustez y estrategias de corrección
- Mitigaciones: filtrado, anclaje, aumento de recuperación y andamiaje de prompts
- Patrones de reversión (rollback), canario y despliegue gradual para actualizaciones de modelos
- Autopsias técnicas, lecciones aprendidas y bucles de mejora continua
Resumen y próximos pasos
Requerimientos
- Experiencia sólida en el desarrollo e implementación de aplicaciones de LLM
- Conocimiento de los flujos de trabajo de Ollama y el alojamiento de modelos
- Dominio de Python, Docker y herramientas básicas de observabilidad
Público objetivo
- Ingenieros de IA
- Profesionales de ML Ops
- Equipos de control de calidad responsables de sistemas LLM en producción