Programa del Curso

Introducción

  • Información general sobre los desafíos de escalado del aprendizaje profundo
  • Descripción general de DeepSpeed y sus características
  • DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuidas

Empezar

  • Configuración del entorno de desarrollo
  • Instalación de PyTorch y DeepSpeed
  • Configuración de DeepSpeed para el entrenamiento distribuido

Funciones de optimización de DeepSpeed

  • Canalización de entrenamiento de DeepSpeed
  • ZeRO (optimización de memoria)
  • Puntos de control de activación
  • Puntos de control de gradiente
  • Paralelismo de canalización

Escalado de modelos con DeepSpeed

  • Escalado básico con DeepSpeed
  • Técnicas avanzadas de escalado
  • Consideraciones de rendimiento y procedimientos recomendados
  • Técnicas de depuración y solución de problemas

Temas avanzados de DeepSpeed

  • Técnicas avanzadas de optimización
  • Uso de DeepSpeed con entrenamiento de precisión mixto
  • DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
  • DeepSpeed con múltiples nodos de entrenamiento

Integración de DeepSpeed con PyTorch

  • Integración de DeepSpeed con flujos de trabajo de PyTorch
  • Uso de DeepSpeed con PyTorch Lightning

Solución de problemas

  • Depuración de problemas comunes de DeepSpeed
  • Supervisión y registro

Resumen y próximos pasos

  • Resumen de conceptos y características clave
  • Prácticas recomendadas para el uso de DeepSpeed en producción
  • Más recursos para obtener más información sobre DeepSpeed

Requerimientos

  • Conocimiento intermedio de los principios del aprendizaje profundo
  • Experiencia con PyTorch o marcos de aprendizaje profundo similares
  • Familiaridad con la programación en Python

Audiencia

  • Científicos de datos
  • Ingenieros de aprendizaje automático
  • Desarrolladores
 21 horas

Número de participantes



Precio por participante

Cursos Relacionados

Avanzado Stable Diffusion: Aprendizaje profundo para la generación de texto a imagen

21 horas

Introducción a Stable Diffusion para la generación de texto a imagen

21 horas

AlphaFold

7 horas

TensorFlow Lite for Embedded Linux

21 horas

TensorFlow Lite for Android

21 horas

TensorFlow Lite for iOS

21 horas

Tensorflow Lite for Microcontrollers

21 horas

Deep Learning Neural Networks with Chainer

14 horas

Distributed Deep Learning with Horovod

7 horas

Accelerating Deep Learning with FPGA and OpenVINO

35 horas

Building Deep Learning Models with Apache MXNet

21 horas

Deep Learning with Keras

21 horas

Advanced Deep Learning with Keras and Python

14 horas

Deep Learning for Self Driving Cars

21 horas

Torch: Introducción a Máquina y Aprendizaje Profundo

21 horas

Categorías Relacionadas