Contacta con nosotros

Temario del curso

Introducción a Mistral a Escala

  • Visión general de Mistral Medium 3
  • Compensaciones entre rendimiento y costo
  • Consideraciones para entornos empresariales a gran escala

Patrones de implementación para LLMs

  • Topologías de servicio y decisiones de diseño
  • Implementaciones en instalaciones propias frente a la nube
  • Estrategias híbridas y multicloud

Técnicas de optimización de inferencia

  • Estrategias de agrupamiento para alto rendimiento
  • Métodos de cuantización para reducir costos
  • Aprovechamiento de aceleradores y GPU

Escalabilidad y confiabilidad

  • Escalar clústeres de Kubernetes para inferencia
  • Equilibrio de carga y enrutamiento de tráfico
  • Tolerancia a fallos y redundancia

Marco de ingeniería de costos

  • Medición de la eficiencia de costos de inferencia
  • Ajuste adecuado de recursos de cómputo y memoria
  • Monitoreo y alertas para optimización

Seguridad y cumplimiento en producción

  • Protección de implementaciones y APIs
  • Consideraciones de gobernanza de datos
  • Cumplimiento normativo en ingeniería de costos

Estudios de caso y mejores prácticas

  • Arquitecturas de referencia para Mistral a escala
  • Aprendizajes derivados de implementaciones empresariales
  • Tendencias futuras en inferencia eficiente de LLM

Resumen y siguientes pasos

Requerimientos

  • Sólido conocimiento sobre la implementación de modelos de aprendizaje automático
  • Experiencia en infraestructura de nube y sistemas distribuidos
  • Familiaridad con estrategias de ajuste de rendimiento y optimización de costos

Audiencia

  • Ingenieros de infraestructura
  • Arquitectos de nube
  • Líderes de MLOps
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas