Contacta con nosotros

Temario del curso

Introducción

  • Resumen de los desafíos de escalabilidad en el aprendizaje profundo
  • Resumen de DeepSpeed y sus características
  • DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuido

Primeros pasos

  • Configuración del entorno de desarrollo
  • Instalación de PyTorch y DeepSpeed
  • Configuración de DeepSpeed para entrenamiento distribuido

Características de optimización de DeepSpeed

  • Pipeline de entrenamiento de DeepSpeed
  • ZeRO (optimización de memoria)
  • Checkpointing de activaciones
  • Checkpointing de gradientes
  • Paralelismo de pipeline

Escalar modelos con DeepSpeed

  • Escalabilidad básica usando DeepSpeed
  • Técnicas avanzadas de escalabilidad
  • Consideraciones de rendimiento y mejores prácticas
  • Técnicas de depuración y solución de problemas

Temas avanzados de DeepSpeed

  • Técnicas avanzadas de optimización
  • Uso de DeepSpeed con entrenamiento de precisión mixta
  • DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
  • DeepSpeed con múltiples nodos de entrenamiento

Integración de DeepSpeed con PyTorch

  • Integración de DeepSpeed con flujos de trabajo de PyTorch
  • Uso de DeepSpeed con PyTorch Lightning

Solución de problemas

  • Depuración de problemas comunes de DeepSpeed
  • Monitoreo y registro de eventos

Resumen y próximos pasos

  • Repaso de conceptos y características clave
  • Mejores prácticas para usar DeepSpeed en producción
  • Recursos adicionales para profundizar en el conocimiento de DeepSpeed

Requerimientos

  • Conocimientos intermedios de los principios del aprendizaje profundo
  • Experiencia con PyTorch o frameworks similares de aprendizaje profundo
  • Familiaridad con la programación en Python

Audiencia

  • Científicos de datos
  • Ingenieros de aprendizaje automático
  • Desarrolladores
 21 Horas

Número de participantes


Precio por participante

Testimonios (3)

Próximos cursos

Categorías Relacionadas