Contacta con nosotros

Temario del curso

Introducción y fundamentos de diagnóstico

  • Visión general de los modos de falla en sistemas de LLM y problemas específicos comunes de Ollama.
  • Establecimiento de experimentos reproducibles y entornos controlados.
  • Conjunto de herramientas de depuración: registros locales, capturas de solicitudes/respuestas y sandboxing.

Reproducción y aislamiento de fallas

  • Técnicas para crear ejemplos mínimos de falla y semillas.
  • Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto.
  • Determinismo, aleatoriedad y control del comportamiento no determinista.

Evaluación conductual y métricas

  • Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
  • Evaluaciones cualitativas: puntuación con humanos en el bucle y diseño de rúbricas.
  • Verificaciones de fidelidad específicas de la tarea y criterios de aceptación.

Pruebas automatizadas y regresión

  • Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo.
  • Creación de suites de regresión y líneas base de ejemplos dorados.
  • Integración de CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizada.

Observabilidad y monitoreo

  • Registros estructurados, trazas distribuidas e IDs de correlación.
  • Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
  • Alertas, paneles de control e indicadores de nivel de servicio (SLI) y objetivos de nivel de servicio (SLO) para servicios respaldados por modelos.

Análisis avanzado de causa raíz

  • Rastreo a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos.
  • Diagnóstico comparativo A/B y estudios de ablación.
  • Procedencia de datos, depuración de conjuntos de datos y resolución de fallas inducidas por el conjunto de datos.

Seguridad, robustez y estrategias de remediación

  • Medidas de mitigación: filtrado, fundamentación, aumento de recuperación y andamiaje de prompts.
  • Patrones de reversión, canario y despliegue gradual para actualizaciones de modelos.
  • Post-mortem, lecciones aprendidas y ciclos de mejora continua.

Resumen y siguientes pasos

Requerimientos

  • Experiencia sólida en la construcción y despliegue de aplicaciones de LLM.
  • Familiaridad con los flujos de trabajo de Ollama y la hospedación de modelos.
  • Confort con Python, Docker y herramientas básicas de observabilidad.

Audiencia

  • Ingenieros de IA.
  • Profesionales de ML Ops.
  • Equipos de QA responsables de sistemas de LLM en producción.
 35 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas