Gracias por enviar su consulta! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Gracias por enviar su reserva! Uno de los miembros de nuestro equipo se pondrá en contacto con usted en breve.
Duración 14 horas
Temario del curso
Introducción a Mistral a gran escala
- Resumen de Mistral Medium 3
- Compensaciones entre rendimiento y costo
- Consideraciones a escala empresarial
Patrones de implementación para LLM
- Topologías de servicio y decisiones de diseño
- Implementaciones locales versus en la nube
- Estrategias híbridas y multinube
Técnicas de optimización de inferencia
- Estrategias de loteo para alto rendimiento
- Métodos de cuantización para reducir costos
- Utilización de aceleradores y GPU
Escala y fiabilidad
- Escalar clústeres de Kubernetes para inferencia
- Equilibramiento de carga y enrutamiento de tráfico
- Tolerancia a fallos y redundancia
Marcos de ingeniería de costos
- Medición de la eficiencia de costos de inferencia
- Ajuste del tamaño adecuado de recursos de cómputo y memoria
- Monitoreo y alertas para optimización
Seguridad y cumplimiento en producción
- Protección de implementaciones y APIs
- Consideraciones de gobernanza de datos
- Cumplimiento regulatorio en la ingeniería de costos
Casos de estudio y mejores prácticas
- Arquitecturas de referencia para Mistral a gran escala
- Lecciones aprendidas de implementaciones empresariales
- Tendencias futuras en inferencia eficiente de LLM
Resumen y próximos pasos
Requerimientos
- Sólido conocimiento sobre la implementación de modelos de aprendizaje automático
- Experiencia con infraestructura de la nube y sistemas distribuidos
- Conocimiento de estrategias de ajuste de rendimiento y optimización de costos
Público objetivo
- Ingenieros de infraestructura
- Arquitectos de la nube
- Líderes de MLOps
