Streaming de datos y procesamiento de datos en tiempo real

Esta capacitación presencial impartida por un instructor en Colombia (en línea o en sitio) está dirigida a profesionales de datos de nivel avanzado que deseen optimizar flujos de trabajo de procesamiento de datos, garantizar la integridad de la información e implementar soluciones robustas de data lakehouse capaces de abordar la complejidad de las aplicaciones modernas de big data.

Al finalizar esta capacitación, los participantes estarán en capacidad de:

• Adquirir un conocimiento profundo de la arquitectura de Iceberg, incluyendo la gestión de metadatos y la disposición de archivos.
• Configurar Iceberg para lograr un rendimiento óptimo en diversos entornos e integrarlo con múltiples motores de procesamiento de datos.
• Gestionar tablas Iceberg a gran escala, realizar cambios complejos en el esquema y administrar la evolución de particiones.
• Dominar técnicas para optimizar el rendimiento de consultas y la eficiencia en el escaneo de datos para conjuntos de datos extensos.
• Implementar mecanismos que garanticen la consistencia de los datos, administren compromisos transaccionales y gestionen fallos en entornos distribuidos.

Esta capacitación impartida por un instructor, en vivo en Colombia (en línea o presencial), está dirigida a profesionales de datos de nivel principiante que desean adquirir los conocimientos y habilidades necesarios para utilizar eficazmente Apache Iceberg en la gestión de conjuntos de datos a gran escala, garantizar la integridad de los datos y optimizar los flujos de trabajo de procesamiento.

Al finalizar esta capacitación, los participantes estarán en capacidad de:

• Obtener una comprensión profunda de la arquitectura, las características y los beneficios de Apache Iceberg.
• Conocer los formatos de tabla, la partición, la evolución de esquemas y las capacidades de viaje en el tiempo.
• Instalar y configurar Apache Iceberg en diferentes entornos.
• Crear, gestionar y manipular tablas Iceberg.
• Comprender el proceso de migración de datos desde otros formatos de tabla hacia Iceberg.

Esta formación impartida por un instructor en vivo en Colombia (en línea o presencial) está dirigida a científicos de datos e ingenieros de nivel intermedio que deseen utilizar Google Colab y Apache Spark para el procesamiento y análisis de big data.

Al finalizar esta formación, los participantes podrán:

• Configurar un entorno de big data utilizando Google Colab y Spark.
• Procesar y analizar grandes conjuntos de datos de manera eficiente con Apache Spark.
• Visualizar big data en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

Esta formación en vivo dirigida por instructores (en línea o presencial) está dirigida a ingenieros de datos, analistas de datos y profesionales de los datos que desean utilizar Databricks y PySpark para construir pipelines de datos escalables y migrar flujos de trabajo SQL existentes.

Esta formación ofrece una introducción práctica a la construcción de flujos de trabajo escalables para el procesamiento de datos y el aprendizaje automático utilizando PySpark. Los participantes aprenderán cómo opera Apache Spark dentro de los ecosistemas modernos de Big Data y cómo procesar grandes conjuntos de datos de manera eficiente aplicando los principios de la computación distribuida.

Este curso práctico de tres días se centra en la construcción y optimización de cargas de trabajo de procesamiento de datos eficientes utilizando PySpark, Pandas y Polars en entornos basados en Kubernetes.

Los participantes desarrollarán una comprensión práctica de cómo se ejecutan las aplicaciones de Spark en Kubernetes y de cómo las decisiones de configuración a nivel de aplicación influyen en el rendimiento, la escalabilidad, el consumo de recursos y los costos. El curso cubre áreas clave de optimización, incluyendo el dimensionamiento de executors, la asignación de memoria, la asignación dinámica, las estrategias de particionamiento, el comportamiento de los procesos de shuffling, los problemas de archivos pequeños y el procesamiento eficiente de Parquet.

El curso también aborda los desafíos comunes al trabajar con Pandas, como las limitaciones de memoria y los fallos por agotamiento de memoria (out-of-memory), e introduce Polars como una alternativa de alto rendimiento para cargas de trabajo específicas de procesamiento de datos. A través de ejercicios prácticos, los participantes diagnosticarán problemas de rendimiento y memoria, compararán diferentes estrategias de configuración y aplicarán técnicas de optimización a escenarios realistas de ETL y aprendizaje automático.

El énfasis a lo largo del curso recae en la toma de decisiones práctica: entender cómo identificar cuellos de botella, seleccionar la herramienta adecuada, configurar Spark de manera eficiente y equilibrar el rendimiento con el consumo de recursos de infraestructura y los costos.

Este entrenamiento en vivo impartido por un instructor en Colombia (en línea o en sitio) está dirigido a ingenieros que deseen configurar e implementar el sistema Apache Spark para procesar grandes volúmenes de datos.

Al finalizar este entrenamiento, los participantes serán capaces de:

• Instalar y configurar Apache Spark.
• Procesar y analizar rápidamente conjuntos de datos de gran tamaño.
• Comprender las diferencias entre Apache Spark y Hadoop MapReduce y saber cuándo utilizar cada uno.
• Integrar Apache Spark con otras herramientas de aprendizaje automático.

Esta capacitación en vivo, dirigida por un instructor, en Colombia (en línea o presencial), está dirigida a administradores de sistemas de nivel principiante a intermedio que deseen desplegar, mantener y optimizar clústeres de Spark.

Al finalizar esta capacitación, los participantes podrán:

• Instalar y configurar Apache Spark en diversos entornos.
• Administrar los recursos del clúster y monitorear las aplicaciones de Spark.
• Optimizar el rendimiento de los clústeres de Spark.
• Implementar medidas de seguridad y garantizar la alta disponibilidad.
• Depurar y resolver problemas comunes de Spark.

En esta capacitación en vivo dirigida por un instructor en Colombia, los participantes aprenderán cómo utilizar Python y Spark juntos para analizar Big Data, mientras realizan ejercicios prácticos.

Al finalizar esta capacitación, los participantes serán capaces de:

• Aprender a utilizar Spark con Python para analizar Big Data.
• Trabajar en ejercicios que simulan casos del mundo real.
• Utilizar diferentes herramientas y técnicas para el análisis de Big Data usando PySpark.

Esta formación presencial, impartida por un instructor en Colombia (en línea o in situ), está dirigida a desarrolladores que deseen utilizar e integrar Spark, Hadoop y Python para procesar, analizar y transformar conjuntos de datos grandes y complejos.

Al finalizar esta formación, los participantes serán capaces de:

• Configurar el entorno necesario para comenzar a procesar big data con Spark, Hadoop y Python.
• Comprender las características, componentes centrales y arquitectura de Spark y Hadoop.
• Aprender a integrar Spark, Hadoop y Python para el procesamiento de big data.
• Explorar las herramientas del ecosistema de Spark (Spark MLlib, Spark Streaming, Kafka, Sqoop, Kafka y Flume).
• Construir sistemas de recomendación basados en filtrado colaborativo similares a los de Netflix, YouTube, Amazon, Spotify y Google.
• Utilizar Apache Mahout para escalar algoritmos de aprendizaje automático.