Programa del Curso

Introducción

  • Información general sobre los desafíos de escalado del aprendizaje profundo
  • Descripción general de DeepSpeed y sus características
  • DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas

Empezar

  • Configuración del entorno de desarrollo
  • Instalación de PyTorch y DeepSpeed
  • Configuración de DeepSpeed para el entrenamiento distribuido

Funciones de optimización de DeepSpeed

  • Canalización de entrenamiento de DeepSpeed
  • ZeRO (optimización de memoria)
  • Puntos de control de activación
  • Puntos de control de gradiente
  • Paralelismo de canalización

Escalado de modelos con DeepSpeed

  • Escalado básico con DeepSpeed
  • Técnicas avanzadas de escalado
  • Consideraciones de rendimiento y procedimientos recomendados
  • Técnicas de depuración y solución de problemas

Temas avanzados de DeepSpeed

  • Técnicas avanzadas de optimización
  • Uso de DeepSpeed con entrenamiento de precisión mixto
  • DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
  • DeepSpeed con múltiples nodos de entrenamiento

Integración de DeepSpeed con PyTorch

  • Integración de DeepSpeed con flujos de trabajo de PyTorch
  • Uso de DeepSpeed con PyTorch Lightning

Solución de problemas

  • Depuración de problemas comunes de DeepSpeed
  • Supervisión y registro

Resumen y próximos pasos

  • Resumen de conceptos y características clave
  • Prácticas recomendadas para el uso de DeepSpeed en producción
  • Más recursos para obtener más información sobre DeepSpeed

Requerimientos

  • Conocimiento intermedio de los principios del aprendizaje profundo
  • Experiencia con PyTorch o marcos de aprendizaje profundo similares
  • Familiaridad con la programación en Python

Audiencia

  • Científicos de datos
  • Ingenieros de aprendizaje automático
  • Desarrolladores
  21 horas

Número de participantes



Precio por participante

Cursos Relacionados

Torch: Introducción a Máquina y Aprendizaje Profundo

  21 horas

Categorías Relacionadas