Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Temario del curso
Fundamentos de la depuración y evaluación con Mastra
- Comprensión de los modelos de comportamiento de los agentes y sus modos de fallo.
- Principios fundamentales de depuración en Mastra.
- Evaluación de acciones de agentes deterministas y no deterministas.
Configuración de entornos para pruebas de agentes
- Configuración de entornos de prueba aislados y espacios de evaluación segregados.
- Captura de registros, trazas y telemetría para análisis detallado.
- Preparación de conjuntos de datos y prompts para pruebas estructuradas.
Depuración del comportamiento de agentes de IA
- Trazado de rutas de decisión y señales de razonamiento interno.
- Identificación de alucinaciones, errores y comportamientos no deseados.
- Uso de paneles de observabilidad para investigar la causa raíz.
Métricas de evaluación y marcos de referencia
- Definición de métricas de evaluación cuantitativas y cualitativas.
- Medición de precisión, consistencia y cumplimiento contextual.
- Aplicación de conjuntos de datos de referencia para evaluaciones repetibles.
Ingeniería de fiabilidad para agentes de IA
- Diseño de pruebas de fiabilidad para agentes de ejecución prolongada.
- Detección de deriva y degradación en el rendimiento de los agentes.
- Implementación de salvaguardas para flujos de trabajo críticos.
Procesos de aseguramiento de la calidad y automatización
- Creación de pipelines de aseguramiento de la calidad para evaluación continua.
- Automatización de pruebas de regresión para actualizaciones de agentes.
- Integración del aseguramiento de la calidad con flujos de trabajo de CI/CD y empresariales.
Técnicas avanzadas para la reducción de alucinaciones
- Estrategias de prompting para reducir resultados no deseados.
- Bucles de validación y mecanismos de autocomprobación.
- Experimentación con combinaciones de modelos para mejorar la fiabilidad.
Informes, monitoreo y mejora continua
- Desarrollo de informes de aseguramiento de la calidad y tarjetas de puntuación de agentes.
- Monitoreo del comportamiento a largo plazo y patrones de error.
- Iteración de los marcos de evaluación para sistemas en evolución.
Resumen y próximos pasos
Requerimientos
- Comprensión del comportamiento de los agentes de IA y las interacciones de los modelos.
- Experiencia en la depuración o prueba de sistemas de software complejos.
- Familiaridad con herramientas de observabilidad o registro de eventos.
Audiencia
- Ingenieros de aseguramiento de la calidad (QA).
- Ingenieros de fiabilidad de IA.
- Desarrolladores responsables de la calidad y el rendimiento de los agentes.
21 Horas
