Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Introducción y fundamentos de diagnóstico
- Visión general de los modos de falla en sistemas de LLM y problemas específicos comunes de Ollama.
- Establecimiento de experimentos reproducibles y entornos controlados.
- Conjunto de herramientas de depuración: registros locales, capturas de solicitudes/respuestas y sandboxing.
Reproducción y aislamiento de fallas
- Técnicas para crear ejemplos mínimos de falla y semillas.
- Interacciones con estado vs. sin estado: aislamiento de errores relacionados con el contexto.
- Determinismo, aleatoriedad y control del comportamiento no determinista.
Evaluación conductual y métricas
- Métricas cuantitativas: precisión, variantes de ROUGE/BLEU, calibración y proxies de perplejidad.
- Evaluaciones cualitativas: puntuación con humanos en el bucle y diseño de rúbricas.
- Verificaciones de fidelidad específicas de la tarea y criterios de aceptación.
Pruebas automatizadas y regresión
- Pruebas unitarias para prompts y componentes, pruebas de escenarios y de extremo a extremo.
- Creación de suites de regresión y líneas base de ejemplos dorados.
- Integración de CI/CD para actualizaciones de modelos de Ollama y puertas de validación automatizada.
Observabilidad y monitoreo
- Registros estructurados, trazas distribuidas e IDs de correlación.
- Métricas operativas clave: latencia, uso de tokens, tasas de error y señales de calidad.
- Alertas, paneles de control e indicadores de nivel de servicio (SLI) y objetivos de nivel de servicio (SLO) para servicios respaldados por modelos.
Análisis avanzado de causa raíz
- Rastreo a través de prompts graficados, llamadas a herramientas y flujos de múltiples turnos.
- Diagnóstico comparativo A/B y estudios de ablación.
- Procedencia de datos, depuración de conjuntos de datos y resolución de fallas inducidas por el conjunto de datos.
Seguridad, robustez y estrategias de remediación
- Medidas de mitigación: filtrado, fundamentación, aumento de recuperación y andamiaje de prompts.
- Patrones de reversión, canario y despliegue gradual para actualizaciones de modelos.
- Post-mortem, lecciones aprendidas y ciclos de mejora continua.
Resumen y siguientes pasos
Requerimientos
- Experiencia sólida en la construcción y despliegue de aplicaciones de LLM.
- Familiaridad con los flujos de trabajo de Ollama y la hospedación de modelos.
- Confort con Python, Docker y herramientas básicas de observabilidad.
Audiencia
- Ingenieros de IA.
- Profesionales de ML Ops.
- Equipos de QA responsables de sistemas de LLM en producción.
35 Horas