Temario del curso
Introducción a Apache Airflow
- ¿Qué es la orquestación de flujos de trabajo?
- Características clave y beneficios de Apache Airflow
- Mejoras de Airflow 2.x y panorama del ecosistema
Arquitectura y Conceptos Principales
- Programador, servidor web y procesos worker
- DAGs, tareas y operadores
- Ejecutores y backends (Local, Celery, Kubernetes)
Instalación y Configuración
- Instalación de Airflow en entornos locales y en la nube
- Configuración de Airflow con diferentes ejecutores
- Configuración de bases de datos de metadatos y conexiones
Navegación en la Interfaz Web y CLI de Airflow
- Exploración de la interfaz web de Airflow
- Monitoreo de ejecuciones de DAGs, tareas y registros
- Uso de la CLI de Airflow para administración
Creación y Gestión de DAGs
- Creación de DAGs con la API TaskFlow
- Uso de operadores, sensores y hooks
- Gestión de dependencias e intervalos de programación
Integración de Airflow con Datos y Servicios en la Nube
- Conexión a bases de datos, APIs y colas de mensajes
- Ejecución de pipelines ETL con Airflow
- Integraciones en la nube: operadores de AWS, GCP y Azure
Monitoreo y Observabilidad
- Registros de tareas y monitoreo en tiempo real
- Métricas con Prometheus y Grafana
- Alertas y notificaciones por correo electrónico o Slack
Seguridad de Apache Airflow
- Control de acceso basado en roles (RBAC)
- Autenticación con LDAP, OAuth y SSO
- Gestión de secretos con Vault y almacenes de secretos en la nube
Escalamiento de Apache Airflow
- Paralelismo, concurrencia y colas de tareas
- Uso de CeleryExecutor y KubernetesExecutor
- Implementación de Airflow en Kubernetes con Helm
Mejores Prácticas para Producción
- Control de versiones y CI/CD para DAGs
- Pruebas y depuración de DAGs
- Mantenimiento de fiabilidad y rendimiento a gran escala
Resolución de Problemas y Optimización
- Depuración de DAGs y tareas fallidas
- Optimización del rendimiento de DAGs
- Errores comunes y cómo evitarlos
Resumen y Próximos Pasos
Requerimientos
- Experiencia en programación con Python
- Familiaridad con conceptos de ingeniería de datos o DevOps
- Comprensión de ETL u orquestación de flujos de trabajo
Público Objetivo
- Científicos de datos
- Ingenieros de datos
- Ingenieros de DevOps e infraestructura
- Desarrolladores de software
Testimonios (7)
El instructor adaptó la formación al nivel de los participantes y respondió a todas las preguntas. Fue muy comunicativo y resultó fácil interactuar con él. Apreciei mucho el formato de la formación, que incluía muchos ejercicios prácticos. En general, fue una sesión muy entretenida y bien organizada.
Jacek Chlopik - ZAKLAD UBEZPIECZEN SPOLECZNYCH
Curso - Apache Airflow: Building and Managing Data Pipelines
Traducción Automática
El entrenamiento fue excelente. La teoría y los ejercicios fueron muy útiles.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática
La formación fue excelente en todos los aspectos. Aspectos teóricos útiles y ejercicios prácticos.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática
El entrenamiento fue perfecto en todos los aspectos. Aspectos teóricos útiles y ejercicios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática
La formación fue excelente en todos los aspectos. Contenido teórico útil y ejercicios prácticos.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática
El entrenamiento fue excelente en todos los aspectos. Contenido teórico útil y ejercicios prácticos.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática
El entrenamiento fue excelente en todos los aspectos. Aspectos teóricos útiles y ejercicios.
Vladimir - PUBLIC COURSE
Curso - Apache Airflow
Traducción Automática