Contacta con nosotros

Temario del curso

Introducción a Mistral a Gran Escala

  • Descripción general de Mistral Medium 3.
  • Compensaciones entre rendimiento y costos.
  • Consideraciones a escala empresarial.

Patrones de implementación para LLMs

  • Topologías de servicio y decisiones de diseño.
  • Implementaciones en instalaciones propias frente a la nube.
  • Estrategias híbridas y multicloud.

Técnicas de optimización de inferencia

  • Estrategias de agrupamiento para alto rendimiento.
  • Métodos de cuantificación para reducción de costos.
  • Uso de aceleradores y GPUs.

Escalabilidad y confiabilidad

  • Escala de clústeres de Kubernetes para inferencia.
  • Balanceo de carga y enrutamiento de tráfico.
  • Tolerancia a fallos y redundancia.

Marco de ingeniería de costos

  • Medición de la eficiencia del costo de inferencia.
  • Ajuste adecuado de los recursos de cómputo y memoria.
  • Monitoreo y alertas para optimización.

Seguridad y cumplimiento en producción

  • Seguridad de implementaciones y APIs.
  • Consideraciones sobre gobernanza de datos.
  • Cumplimiento normativo en ingeniería de costos.

Estudios de caso y mejores prácticas

  • Arquitecturas de referencia para Mistral a gran escala.
  • Lecciones aprendidas de implementaciones empresariales.
  • Tendencias futuras en inferencia eficiente de LLMs.

Resumen y próximos pasos

Requerimientos

  • Conocimiento sólido sobre la implementación de modelos de aprendizaje automático.
  • Experiencia con infraestructura de nube y sistemas distribuidos.
  • Familiaridad con estrategias de ajuste de rendimiento y optimización de costos.

Público objetivo

  • Ingenieros de infraestructura.
  • Arquitectos de nube.
  • Líderes de MLOps.
 14 Horas

Número de participantes


Precio por participante

Próximos cursos

Categorías Relacionadas