Escalar Pipelines de Datos con Spark NLP

Este entrenamiento en vivo dirigido por un instructor (en línea o presencial) está destinado a científicos de datos y ingenieros de nivel intermedio que desean utilizar Google Colab y Apache Spark para el procesamiento y análisis de grandes volúmenes de datos.

Al finalizar este entrenamiento, los participantes podrán:

• Configurar un entorno de gran volumen de datos utilizando Google Colab y Spark.
• Procesar y analizar conjuntos de datos grandes de manera eficiente con Apache Spark.
• Visualizar grandes volúmenes de datos en un entorno colaborativo.
• Integrar Apache Spark con herramientas basadas en la nube.

El análisis de Big Data implica el proceso de examinar grandes cantidades de conjuntos de datos variados para descubrir correlaciones, patrones ocultos y otras ideas útiles.

La industria de la salud tiene cantidades masivas de datos clínicos y médicos heterogéneos complejos. La aplicación de análisis de big data en datos de salud presenta un enorme potencial para obtener información para mejorar la prestación de servicios de salud. Sin embargo, la magnitud de estos conjuntos de datos plantea grandes desafíos en los análisis y aplicaciones prácticas en un entorno clínico.

En esta capacitación en vivo (remota) dirigida por un instructor, los participantes aprenderán cómo realizar análisis de big data en salud a medida que realizan una serie de ejercicios prácticos de laboratorio en vivo.

Al final de esta capacitación, los participantes podrán:

• Instale y configure herramientas de análisis de big data como Hadoop MapReduce y Spark
• Comprender las características de los datos médicos.
• Aplicar técnicas de big data para manejar datos médicos.
• Estudiar los sistemas y algoritmos de big data en el contexto de las aplicaciones de salud.

Audiencia

• Desarrolladores
• Científicos de datos

Formato del curso

• Conferencia en parte, discusión en parte, ejercicios y práctica práctica.

Nota

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o presencial) está dirigida a administradores de sistemas que desean aprender a configurar, implementar y administrar Hadoop clústeres dentro de su organización.

Al final de esta formación, los participantes serán capaces de:

• Instale y configure Apache Hadoop.
• Comprenda los cuatro componentes principales del ecosistema Hadoop: HDFS, MapReduce, YARN y Hadoop Common.
• Utilice Hadoop Sistema de archivos distribuido (HDFS) para escalar un clúster a cientos o miles de nodos.  
• Configure HDFS para que funcione como motor de almacenamiento para implementaciones de Spark locales.
• Configure Spark para acceder a soluciones de almacenamiento alternativas, como Amazon S3, y NoSQL sistemas de bases de datos como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Lleve a cabo tareas administrativas como el aprovisionamiento, la gestión, la supervisión y la seguridad de un clúster Apache Hadoop.

In this instructor-led, live training in Colombia (onsite or remote), participants will learn how to set up and integrate different Stream Processing frameworks with existing big data storage systems and related software applications and microservices.

By the end of this training, participants will be able to:

• Install and configure different Stream Processing frameworks, such as Spark Streaming and Kafka Streaming.
• Understand and select the most appropriate framework for the job.
• Process of data continuously, concurrently, and in a record-by-record fashion.
• Integrate Stream Processing solutions with existing databases, data warehouses, data lakes, etc.
• Integrate the most appropriate stream processing library with enterprise applications and microservices.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a científicos de datos que desean utilizar la pila SMACK para crear plataformas de procesamiento de datos para soluciones de big data.

Al final de esta capacitación, los participantes serán capaces de:

• Implemente una arquitectura de canalización de datos para procesar big data.
• Desarrollar una infraestructura de clúster con Apache, Mesos y Docker.
• Analice los datos con Spark y Scala.
• Gestione datos no estructurados con Apache Cassandra.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a ingenieros que desean configurar e implementar Apache Spark un sistema para procesar grandes cantidades de datos.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apache Spark.
• Procese y analice rápidamente conjuntos de datos muy grandes.
• Comprenda la diferencia entre Apache Spark y Hadoop MapReduce y cuándo usar cuál.
• Integre Apache Spark con otras herramientas de aprendizaje automático.

Esta formación en directo dirigida por un instructor en Colombia (en línea o in situ) está dirigida a administradores de sistemas de nivel principiante a intermedio que deseen implementar, mantener y optimizar clústeres de Spark.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apache Spark en varios entornos.
• Administre los recursos del clúster y supervise las aplicaciones de Spark.
• Optimice el rendimiento de los clústeres de Spark.
• Implemente medidas de seguridad y garantice una alta disponibilidad.
• Depurar y solucionar problemas comunes de Spark.

La curva de aprendizaje de Apache Spark está aumentando lentamente al principio, necesita mucho esfuerzo para obtener el primer retorno. Este curso tiene como objetivo saltar a través de la primera parte difícil. Después de tomar este curso, los participantes comprenderán los conceptos básicos de Apache Spark , diferenciarán claramente RDD de DataFrame, aprenderán Python y Scala API, comprenderán ejecutores y tareas, etc. Además, siguiendo las mejores prácticas, este curso se enfoca fuertemente en implementación en la nube, Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los últimos servicios Spark de AWS.

AUDIENCIA:

Ingeniero de Datos, DevOps , Científico de Datos

OBJETIVO:

Este curso presentará Apache Spark . Los estudiantes aprenderán cómo Spark encaja en el ecosistema de Big Data y cómo usar Spark para el análisis de datos. El curso cubre el shell de Spark para análisis de datos interactivos, componentes internos de Spark, API de Spark, Spark SQL , transmisión de Spark y aprendizaje automático y graphX.

AUDIENCIA

Desarrolladores / Analistas de datos

En esta capacitación en vivo dirigida por un instructor en Colombia, los participantes aprenderán a usar Python y Spark juntos para analizar big data mientras trabajan en ejercicios prácticos.

Al final de esta formación, los participantes serán capaces de:

• Aprenda a usar Spark con Python para analizar Big Data.
• Trabaja en ejercicios que imiten casos del mundo real.
• Utilice diferentes herramientas y técnicas para el análisis de big data utilizando PySpark.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o presencial) está dirigida a desarrolladores que desean usar e integrar Spark, Hadoop y Python para procesar, analizar y transformar conjuntos de datos grandes y complejos.

Al final de esta formación, los participantes serán capaces de:

• Configure el entorno necesario para empezar a procesar macrodatos con Spark, Hadoop y Python.
• Comprender las características, los componentes principales y la arquitectura de Spark y Hadoop.
• Aprenda a integrar Spark, Hadoop y Python para el procesamiento de big data.
• Explore las herramientas del ecosistema de Spark (Spark MlLib, Spark Streaming, Kafka, Sqoop, Kafka y Flume).
• Cree sistemas de recomendación de filtrado colaborativo similares a Netflix, YouTube, Amazon, Spotify y Google.
• Utilice Apache Mahout para escalar los algoritmos de aprendizaje automático.

Spark SQL es Apache Spark módulo de Apache Spark para trabajar con datos estructurados y no estructurados. Spark SQL proporciona información sobre la estructura de los datos, así como el cálculo que se realiza. Esta información se puede usar para realizar optimizaciones. Dos usos comunes para Spark SQL son:
- para ejecutar consultas SQL .
- para leer datos de una instalación de Hive existente.

En esta capacitación en vivo dirigida por un instructor (en el sitio o remota), los participantes aprenderán cómo analizar varios tipos de conjuntos de datos usando Spark SQL .

Al final de esta capacitación, los participantes podrán:

• Instalar y configurar Spark SQL .
• Realizar análisis de datos usando Spark SQL .
• Consultar conjuntos de datos en diferentes formatos.
• Visualizar datos y resultados de consultas.

Formato del curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

Stratio es una plataforma centrada en datos que integra big data, IA y gobernanza en una sola solución. Sus módulos Rocket e Intelligence permiten la exploración rápida de datos, transformaciones y análisis avanzados en entornos empresariales.

Este entrenamiento en vivo dirigido por un instructor (online o presencial) está orientado a profesionales intermedios en datos que desean utilizar los módulos Rocket e Intelligence de Stratio eficazmente con PySpark, enfocándose en estructuras de bucles, funciones definidas por el usuario y lógica avanzada de datos.

Al finalizar este entrenamiento, los participantes podrán:

• Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
• Aplicar PySpark en el contexto de ingesta, transformación y análisis de datos.
• Usar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
• Crear y gestionar funciones definidas por el usuario (UDFs) para operaciones reutilizables en PySpark.

Formato del Curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de Personalización del Curso

• Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.