Taller de Migración de Databricks: De Procedimientos Almacenados a Lakehouse (Intensivo de 5 Días)

Introducción, objetivos y estrategia de migración

• Objetivos del curso, alineación con el perfil de los participantes y criterios de éxito
• Enfoques de migración a nivel general y consideraciones de riesgo
• Configuración de espacios de trabajo, repositorios y conjuntos de datos para laboratorios

Día 1 — Fundamentos de migración y arquitectura

• Conceptos de Lakehouse, visión general de Delta Lake y arquitectura de Databricks
• Diferencias entre SMP y MPP e implicaciones para la migración
• Diseño de Medallion (Bronce → Plata → Oro) y visión general de Unity Catalog

Laboratorio Día 1 — Traducción de un procedimiento almacenado

• Migración práctica de un procedimiento almacenado de ejemplo a un cuaderno (notebook)
• Mapeo de tablas temporales y cursores a transformaciones de DataFrame
• Validación y comparación con la salida original

Día 2 — Delta Lake avanzado y carga incremental

• Transacciones ACID, registros de confirmación (commit logs), versionado y viaje en el tiempo (time travel)
• Auto Loader, patrones MERGE INTO, upserts y evolución de esquema (schema evolution)
• OPTIMIZE, VACUUM, Z-ORDER, particionamiento y ajuste de almacenamiento

Laboratorio Día 2 — Ingesta y optimización incrementales

• Implementación de ingesta con Auto Loader y flujos de trabajo MERGE
• Aplicación de OPTIMIZE, Z-ORDER y VACUUM; validación de resultados
• Medición de mejoras en el rendimiento de lectura y escritura

Día 3 — SQL en Databricks, rendimiento y depuración

• Funcionalidades de SQL analítico: funciones de ventana, funciones de orden superior, manejo de JSON/arrays
• Lectura de la interfaz de usuario de Spark, DAGs, mezclas (shuffles), etapas, tareas y diagnóstico de cuellos de botella
• Patrones de ajuste de consultas (query tuning): uniones de difusión (broadcast joins), sugerencias (hints), caché y reducción de desbordamientos (spill)

Laboratorio Día 3 — Refactorización de SQL y ajuste de rendimiento

• Refactorización de un proceso SQL pesado a Spark SQL optimizado
• Uso de trazas de la interfaz de usuario de Spark para identificar y corregir problemas de sesgo (skew) y mezcla (shuffle)
• Benchmark antes/después y documentación de los pasos de ajuste

Día 4 — PySpark táctico: Reemplazo de la lógica procedural

• Modelo de ejecución de Spark: controlador (driver), ejecutores, evaluación perezosa (lazy evaluation) y estrategias de particionamiento
• Transformación de bucles y cursores en operaciones vectorizadas de DataFrame
• Modularización, UDFs/UDFs de pandas, widgets y bibliotecas reutilizables

Laboratorio Día 4 — Refactorización de scripts procedurales

• Refactorización de un script ETL procedural en cuadernos PySpark modulares
• Introducción de parametrización, pruebas de estilo de unidad y funciones reutilizables
• Revisión de código y aplicación de la lista de verificación de mejores prácticas

Día 5 — Orquestación, flujo de extremo a extremo y mejores prácticas

• Databricks Workflows: diseño de trabajos, dependencias de tareas, disparadores y manejo de errores
• Diseño de flujos de trabajo incrementales de Medallion con reglas de calidad y validación de esquema
• Integración con Git (GitHub/Azure DevOps), CI y estrategias de prueba para la lógica de PySpark

Laboratorio Día 5 — Construcción de un flujo de trabajo completo de extremo a extremo

• Ensamblaje de la tubería Bronce → Plata → Oro orquestada con Workflows
• Implementación de registros (logging), auditoría, reintentos y validaciones automatizadas
• Ejecución de la tubería completa, validación de salidas y preparación de notas de implementación

Operacionalización, gobernanza y preparación para producción

• Mejores prácticas de gobernanza de Unity Catalog, linaje y controles de acceso
• Costos, tamaño de clúster, escalado automático y patrones de concurrencia de trabajos
• Listas de verificación de despliegue, estrategias de reversión (rollback) y creación de manuales de ejecución (runbooks)

Revisión final, transferencia de conocimiento y próximos pasos

• Presentaciones de los participantes sobre el trabajo de migración y lecciones aprendidas
• Análisis de brechas, actividades de seguimiento recomendadas y entrega de materiales de formación
• Referencias, rutas de aprendizaje adicionales y opciones de soporte