Temario del curso
Introducción
- Resumen de los desafíos de escalabilidad en el aprendizaje profundo
- Resumen de DeepSpeed y sus características
- DeepSpeed frente a otras bibliotecas de aprendizaje profundo distribuido
Primeros pasos
- Configuración del entorno de desarrollo
- Instalación de PyTorch y DeepSpeed
- Configuración de DeepSpeed para entrenamiento distribuido
Características de optimización de DeepSpeed
- Pipeline de entrenamiento de DeepSpeed
- ZeRO (optimización de memoria)
- Checkpointing de activaciones
- Checkpointing de gradientes
- Paralelismo de pipeline
Escalar modelos con DeepSpeed
- Escalabilidad básica usando DeepSpeed
- Técnicas avanzadas de escalabilidad
- Consideraciones de rendimiento y mejores prácticas
- Técnicas de depuración y solución de problemas
Temas avanzados de DeepSpeed
- Técnicas avanzadas de optimización
- Uso de DeepSpeed con entrenamiento de precisión mixta
- DeepSpeed en diferentes hardware (por ejemplo, GPUs, TPUs)
- DeepSpeed con múltiples nodos de entrenamiento
Integración de DeepSpeed con PyTorch
- Integración de DeepSpeed con flujos de trabajo de PyTorch
- Uso de DeepSpeed con PyTorch Lightning
Solución de problemas
- Depuración de problemas comunes de DeepSpeed
- Monitoreo y registro de eventos
Resumen y próximos pasos
- Repaso de conceptos y características clave
- Mejores prácticas para usar DeepSpeed en producción
- Recursos adicionales para profundizar en el conocimiento de DeepSpeed
Requerimientos
- Conocimientos intermedios de los principios del aprendizaje profundo
- Experiencia con PyTorch o frameworks similares de aprendizaje profundo
- Familiaridad con la programación en Python
Audiencia
- Científicos de datos
- Ingenieros de aprendizaje automático
- Desarrolladores
Testimonios (3)
Me gustó mucho el final donde tuvimos la oportunidad de experimentar con CHAT GPT. La sala no estaba muy bien preparada para esto; en lugar de una gran mesa, varias mesas pequeñas nos habrían permitido formar grupos pequeños y generar ideas de manera más efectiva.
Nola - Laramie County Community College
Curso - Artificial Intelligence (AI) Overview
Traducción Automática
Trabajando desde principios fundamentales de manera enfocada y pasando a aplicar estudios de caso en el mismo día
Maggie Webb - Department of Jobs, Regions, and Precincts
Curso - Artificial Neural Networks, Machine Learning, Deep Thinking
Traducción Automática
Que se estuviera aplicando datos reales de la empresa. El formador tenía un enfoque muy bueno al hacer que los participantes colaboraran y competieran.
Jimena Esquivel - Zaklad Uslugowy Hakoman Andrzej Cybulski
Curso - Applied AI from Scratch in Python
Traducción Automática