Cursos de Administration of Apache Spark

En esta capacitación en vivo dirigida por un instructor en Colombia, los participantes aprenderán a usar Python y Spark juntos para analizar big data mientras trabajan en ejercicios prácticos.

Al final de esta capacitación, los participantes serán capaces de:

• Aprenda a usar Spark con Python para analizar Big Data.
• Trabaja en ejercicios que imiten casos del mundo real.
• Utilice diferentes herramientas y técnicas para el análisis de big data utilizando PySpark.

En esta capacitación en vivo dirigida por un instructor en Colombia, los participantes aprenderán sobre las ofertas tecnológicas y los enfoques de implementación para el procesamiento de datos de gráficos. El objetivo es identificar objetos del mundo real, sus características y relaciones, luego modelar estas relaciones y procesarlas como datos utilizando un enfoque Graph Computing (también conocido como Graph Analytics). Comenzamos con una visión general amplia y nos limitamos a herramientas específicas a medida que avanzamos a través de una serie de estudios de casos, ejercicios prácticos e implementaciones en vivo.

Al final de esta capacitación, los participantes serán capaces de:

• Comprenda cómo se conservan y recorren los datos de los gráficos.
• Seleccione el mejor marco para una tarea determinada (desde bases de datos de grafos hasta marcos de procesamiento por lotes).
• Implemente Hadoop, Spark, GraphX y Pregel para llevar a cabo el cálculo de grafos en muchas máquinas en paralelo.
• Vea problemas de big data del mundo real en términos de gráficos, procesos y recorridos.

Formato del curso

• Conferencia interactiva y discusión.
• Muchos ejercicios y práctica.
• Implementación práctica en un entorno de laboratorio en vivo.

Opciones de personalización del curso

• Para solicitar una formación personalizada para este curso, póngase en contacto con nosotros para concertar una cita.

MLlib es la biblioteca de aprendizaje automático (ML) de Spark. Su objetivo es hacer que el aprendizaje práctico de la máquina sea escalable y fácil. Consiste en algoritmos comunes de aprendizaje y utilidades, incluyendo clasificación, regresión, agrupación, filtrado colaborativo, reducción de dimensionalidad, así como primitivas de optimización de nivel más bajo y API de oleoducto de nivel superior.

Se divide en dos paquetes:

• spark.mllib contiene la API original construida sobre RDDs.
• spark.ml proporciona una API de nivel superior construida en la parte superior de DataFrames para la construcción de tuberías de ML.
   

Audiencia

Este curso está dirigido a ingenieros y desarrolladores que buscan utilizar una biblioteca de máquinas construida para Apache Spark

El análisis de Big Data implica el proceso de examinar grandes cantidades de conjuntos de datos variados para descubrir correlaciones, patrones ocultos y otras ideas útiles.

La industria de la salud tiene cantidades masivas de datos clínicos y médicos heterogéneos complejos. La aplicación de análisis de big data en datos de salud presenta un enorme potencial para obtener información para mejorar la prestación de servicios de salud. Sin embargo, la magnitud de estos conjuntos de datos plantea grandes desafíos en los análisis y aplicaciones prácticas en un entorno clínico.

En esta capacitación en vivo (remota) dirigida por un instructor, los participantes aprenderán cómo realizar análisis de big data en salud a medida que realizan una serie de ejercicios prácticos de laboratorio en vivo.

Al final de esta capacitación, los participantes podrán:

• Instale y configure herramientas de análisis de big data como Hadoop MapReduce y Spark
• Comprender las características de los datos médicos.
• Aplicar técnicas de big data para manejar datos médicos.
• Estudiar los sistemas y algoritmos de big data en el contexto de las aplicaciones de salud.

Audiencia

• Desarrolladores
• Científicos de datos

Formato del curso

• Conferencia en parte, discusión en parte, ejercicios y práctica práctica.

Nota

• Para solicitar una capacitación personalizada para este curso, contáctenos para organizarlo.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a administradores de sistemas que desean aprender a configurar, implementar y administrar Hadoop clústeres dentro de su organización.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apache Hadoop.
• Comprenda los cuatro componentes principales del ecosistema de Hadoop: HDFS, MapReduce, YARN y Hadoop Common.
• Utilice el sistema de archivos distribuido de Hadoop (HDFS) para escalar un clúster a cientos o miles de nodos.  
• Configure HDFS para que funcione como motor de almacenamiento para implementaciones de Spark locales.
• Configure Spark para acceder a soluciones de almacenamiento alternativas como Amazon S3 y sistemas de bases de datos NoSQL como Redis, Elasticsearch, Couchbase, Aerospike, etc.
• Llevar a cabo tareas administrativas como el aprovisionamiento, la gestión, la supervisión y la seguridad de un clúster de Apache Hadoop.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) presenta Hortonworks Data Platform (HDP) y guía a los participantes a través de la implementación de la solución Spark + Hadoop.

Al final de esta capacitación, los participantes podrán:

Utilice Hortonworks para ejecutar Hadoop de forma fiable a gran escala. Unifique las capacidades de seguridad, gobernanza y operaciones de Hadoop con los flujos de trabajo analíticos ágiles de Spark. Utilice Hortonworks para investigar, validar, certificar y dar soporte a cada uno de los componentes de un proyecto de Spark. Procese diferentes tipos de datos, incluidos los estructurados, los no estructurados, en movimiento y en reposo.

En esta capacitación en vivo dirigida por un instructor en Colombia (in situ o remota), los participantes aprenderán a configurar e integrar diferentes marcos Stream Processing con los sistemas de almacenamiento de big data existentes y las aplicaciones de software y microservicios relacionados.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure diferentes Stream Processing marcos, como Spark Streaming y Kafka Streaming.
• Comprender y seleccionar el marco más adecuado para el trabajo.
• Procesamiento de datos de forma continua, concurrente y registro por registro.
• Integre Stream Processing soluciones con bases de datos, almacenes de datos, lagos de datos, etc. existentes.
• Integre la biblioteca de procesamiento de flujos más adecuada con aplicaciones empresariales y microservicios.

Magellan es un motor de ejecución distribuida de código abierto para el análisis geoespacial en big data. Implementado sobre Apache Spark, amplía Spark SQL y proporciona una abstracción relacional para el análisis geoespacial.

Esta capacitación en vivo dirigida por un instructor presenta los conceptos y enfoques para implementar el análisis geospacial y guía a los participantes a través de la creación de una aplicación de análisis predictivo utilizando Magellan en Spark.

Al final de esta capacitación, los participantes podrán:

• Consultar, analizar y unir datos geoespaciales de manera eficiente a escala
• Implementar datos geoespaciales en inteligencia empresarial y aplicaciones de análisis predictivo
• Utilice el contexto espacial para ampliar las capacidades de dispositivos móviles, sensores, registros y dispositivos portátiles

Audiencia

• Desarrolladores de aplicaciones

Formato del curso

• Conferencia de parte, discusión en parte, ejercicios y práctica práctica

Esta formación en directo dirigida por un instructor en Colombia (online o presencial) está dirigida a desarrolladores que deseen llevar a cabo análisis de big data utilizando Apache Spark en sus aplicaciones .NET.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apache Spark.
• Comprenda cómo .NET implementa las API de Spark para que se pueda acceder a ellas desde una aplicación .NET.
• Desarrollar aplicaciones de procesamiento de datos utilizando C# o F#, capaces de manejar conjuntos de datos cuyo tamaño se mide en terabytes y pedabytes.
• Desarrolle características de aprendizaje automático para una aplicación .NET con las funcionalidades de Apache Spark.
• Llevar a cabo análisis exploratorios utilizando SQL consultas en grandes conjuntos de datos.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a científicos de datos que desean utilizar la pila SMACK para crear plataformas de procesamiento de datos para soluciones de big data.

Al final de esta capacitación, los participantes serán capaces de:

• Implemente una arquitectura de canalización de datos para procesar big data.
• Desarrollar una infraestructura de clúster con Apache, Mesos y Docker.
• Analice los datos con Spark y Scala.
• Gestione datos no estructurados con Apache Cassandra.

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a ingenieros que desean configurar e implementar Apache Spark un sistema para procesar grandes cantidades de datos.

Al final de esta capacitación, los participantes serán capaces de:

• Instale y configure Apache Spark.
• Procese y analice rápidamente conjuntos de datos muy grandes.
• Comprenda la diferencia entre Apache Spark y Hadoop MapReduce y cuándo usar cuál.
• Integre Apache Spark con otras herramientas de aprendizaje automático.

La curva de aprendizaje de Apache Spark está aumentando lentamente al principio, necesita mucho esfuerzo para obtener el primer retorno. Este curso tiene como objetivo saltar a través de la primera parte difícil. Después de tomar este curso, los participantes comprenderán los conceptos básicos de Apache Spark , diferenciarán claramente RDD de DataFrame, aprenderán Python y Scala API, comprenderán ejecutores y tareas, etc. Además, siguiendo las mejores prácticas, este curso se enfoca fuertemente en implementación en la nube, Databricks y AWS. Los estudiantes también comprenderán las diferencias entre AWS EMR y AWS Glue, uno de los últimos servicios Spark de AWS.

AUDIENCIA:

Ingeniero de Datos, DevOps , Científico de Datos

OBJETIVO:

Este curso presentará Apache Spark . Los estudiantes aprenderán cómo Spark encaja en el ecosistema de Big Data y cómo usar Spark para el análisis de datos. El curso cubre el shell de Spark para análisis de datos interactivos, componentes internos de Spark, API de Spark, Spark SQL , transmisión de Spark y aprendizaje automático y graphX.

AUDIENCIA

Desarrolladores / Analistas de datos

Esta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a científicos de datos y desarrolladores que deseen usar Spark NLP, construido sobre Apache Spark, para desarrollar, implementar y escalar modelos y canalizaciones de procesamiento de texto en lenguaje natural.

Al final de esta capacitación, los participantes serán capaces de:

• Configure el entorno de desarrollo necesario para comenzar a crear canalizaciones de NLP con Spark NLP.
• Comprender las características, la arquitectura y los beneficios del uso de Spark NLP.
• Utilice los modelos previamente entrenados disponibles en Spark NLP para implementar el procesamiento de texto.
• Aprenda a crear, entrenar y escalar modelos Spark NLP para proyectos de producción.
• Aplique la clasificación, la inferencia y el análisis de sentimientos en casos de uso del mundo real (datos clínicos, información sobre el comportamiento de los clientes, etc.).