Una introducción práctica al procesamiento de flujo
El procesamiento de flujo se refiere al tratamiento en tiempo real de "datos en movimiento", es decir, realizar cálculos sobre datos a medida que se reciben. Estos datos se leen como flujos continuos provenientes de diversas fuentes, tales como eventos de sensores, actividad de usuarios en sitios web, transacciones financieras, transferencias de tarjetas de crédito y transmisiones de clics. Los frameworks de procesamiento de flujo pueden manejar grandes volúmenes de datos entrantes y proporcionar información valiosa casi al instante.
En este entrenamiento en vivo dirigido por un instructor (presencial o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos de procesamiento de flujo con los sistemas de almacenamiento de big data existentes y aplicaciones de software y microservicios relacionados.
Al final de esta capacitación, los participantes podrán:
- Instalar y configurar diversos frameworks de procesamiento de flujo, como Spark Streaming y Kafka Streaming
- Comprender y seleccionar el framework más adecuado para su trabajo
- Procesar datos de manera continua, concurrente y registro por registro
- Integrar soluciones de procesamiento de flujo con bases de datos existentes, almacenes de datos y lagos de datos
- Integrar la biblioteca de procesamiento de flujo más apropiada con aplicaciones empresariales y microservicios
Audiencia
- Desarrolladores
- Arquitectos de software
Formato del curso
- Sesiones teóricas, discusiones y ejercicios prácticos
Notas
- Para solicitar una capacitación personalizada para este curso, contáctenos para hacer los arreglos necesarios.
Temario del curso
Introducción
Procesamiento de flujo vs procesamiento por lotes
Procesamiento de flujo enfocado en Analytics
Marcos generales y lenguajes de programación
Spark Streaming (Scala)
Kafka Streaming (Java)
Flink
Tormenta
Comparación de características y fortalezas de cada marco
Descripción general de las fuentes de datos
Datos en vivo como una serie de eventos en el tiempo
Fuentes de datos históricos
Opciones de implementación
En la nube (AWS, etc.)
Local (nube privada, etc.)
Configuración del entorno de desarrollo
Instalando y Configurando
Evaluar sus necesidades de análisis de datos
Integración de Streaming Framework con Big Data Tools
Transformando los datos de entrada
Inspección de los datos de salida
Integración del marco de procesamiento de flujo con aplicaciones existentes y microservicios
Solución de problemas
Resumen y conclusión
Requerimientos
- Experiencia de programación en cualquier idioma
- Una comprensión de los conceptos de Big Data (Hadoop, etc.)
Los cursos públicos requieren más de 5 participantes.
Una introducción práctica al procesamiento de flujo - Reserva
Una introducción práctica al procesamiento de flujo - Consulta
Una introducción práctica al procesamiento de flujo - Solicitud de consultoría
Testimonios (1)
Suficiente práctica, el instructor es conocedor
Chris Tan
Curso - A Practical Introduction to Stream Processing
Traducción Automática
Próximos cursos
Cursos Relacionados
Administración de Confluent Apache Kafka
21 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida diseñada para tuberías de datos de alta capacidad y análisis en tiempo real, resistente a fallos.
Este curso, dirigido por un instructor (tanto en línea como presencial), está destinado a administradores de sistemas de nivel intermedio y profesionales DevOps que desean instalar, configurar, monitorear y solucionar problemas en clusters de Confluent Apache Kafka.
Al finalizar este curso, los participantes serán capaces de:
- Comprender los componentes y la arquitectura de Confluent Kafka.
- Implementar y administrar brokers Kafka, cuórum Zookeeper y servicios clave.
- Configurar características avanzadas como seguridad, replicación y ajuste de rendimiento.
- Utilizar herramientas de gestión para monitorear y mantener clusters Kafka.
Formato del Curso
- Charla interactiva y discusión.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.
Apache Kafka Connect
7 HorasEste curso dirigido por un instructor y en vivo en Colombia (en línea o presencial) está destinado a desarrolladores que desean integrar Apache Kafka con bases de datos y aplicaciones existentes para procesamiento, análisis, etc.
Al finalizar este curso, los participantes serán capaces de:
- Utilizar Kafka Connect para ingerir grandes cantidades de datos desde una base de datos a temas de Kafka.
- Ingresar datos de registro generados por servidores de aplicaciones en temas de Kafka.
- Hacer cualquier dato recopilado disponible para el procesamiento de flujos.
- Exportar datos desde temas de Kafka a sistemas secundarios para almacenamiento y análisis.
Confluent Apache Kafka: Operaciones y Configuración del Clúster
16 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida y empresarial que se basa en Apache Kafka. Esta plataforma soporta pipelines de datos con alta capacidad de transferencia, tolerancia a fallos y aplicaciones de streaming en tiempo real.
Este entrenamiento dirigido por instructores (tanto en línea como presencial) está diseñado para ingenieros y administradores de nivel intermedio que desean implementar, configurar y optimizar clústeres Confluent Kafka en entornos de producción.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Instalar, configurar y operar clústeres Confluent Kafka con múltiples brokers.
- Diseñar configuraciones de alta disponibilidad utilizando Zookeeper y técnicas de replicación.
- Ajustar el rendimiento, monitorear métricas y aplicar estrategias de recuperación.
- Implementar medidas de seguridad, escalar e integrar Kafka con entornos empresariales.
Formato del Curso
- Charlas interactivas y discusiones.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para coordinar.
Building Kafka Solutions with Confluent
14 HorasEste curso dirigido por un instructor (en línea o presencial) está diseñado para ingenieros que deseen utilizar Confluent (una distribución de Kafka) para desarrollar y gestionar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones.
A la conclusión de este curso, los participantes serán capaces de:
- Instalar y configurar la Plataforma Confluent.
- Utilizar las herramientas y servicios de gestión de Confluent para facilitar la ejecución de Kafka.
- Almacenar y procesar datos de flujo entrantes.
- Optimizar y administrar clústeres de Kafka.
- Asegurar los flujos de datos.
Formato del Curso
- Lectura interactiva y debate.
- Numerosos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Este curso se basa en la versión de código abierto de Confluent: Confluent Open Source.
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para realizar los arreglos necesarios.
Construcción de Pipelines de Datos con Apache Kafka
7 HorasApache Kafka es una plataforma de streaming distribuida que se ha convertido en un estándar de facto para la construcción de pipelines de datos. Resuelve diversos casos de uso relacionados con el procesamiento de datos, como su uso como cola de mensajes, registro distribuido o procesador de flujos.
Comenzaremos explorando algunas teorías generales detrás de los pipelines de datos y luego nos adentraremos en los conceptos fundamentales de Kafka. También conoceremos componentes clave como Kafka Streams y Kafka Connect.
Mensajería Distribuida con Apache Kafka
14 HorasEste curso está diseñado para arquitectos empresariales, desarrolladores, administradores de sistemas y cualquier persona interesada en comprender y utilizar un sistema de mensajería distribuida de alto rendimiento. Si tiene requisitos más específicos (por ejemplo, solo la parte de administración de sistemas), este curso puede ser ajustado para satisfacer mejor sus necesidades.
Kafka para Administradores
21 HorasEste entrenamiento dirigido por un instructor en vivo en Colombia (en línea o presencial) está orientado a administradores de sistemas y ingenieros de operaciones de nivel principiante/intermedio/avanzado que desean utilizar Apache Kafka para implementar, asegurar, monitorear y solucionar problemas de clústeres de Kafka.
Al final de este entrenamiento, los participantes serán capaces de: explicar la arquitectura de Kafka y el modo KRaft, operar y asegurar clústeres de Kafka, monitorear el rendimiento y la confiabilidad, y resolver problemas comunes en producción.
Apache Kafka para Desarrolladores
21 HorasEste entrenamiento dirigido por un instructor (en línea o presencial) en Colombia está destinado a desarrolladores de nivel intermedio que deseen desarrollar aplicaciones de big data con Apache Kafka.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Desarrollar productores y consumidores de Kafka para enviar y leer datos desde Kafka.
- Integrar Kafka con sistemas externos usando Kafka Connect.
- Escribir aplicaciones de transmisión de datos con Kafka Streams & ksqlDB.
- Integrar una aplicación cliente de Kafka con Confluent Cloud para despliegues basados en la nube.
- Adquirir experiencia práctica a través de ejercicios prácticos y casos de uso del mundo real.
Apache Kafka para Programadores de Python
7 HorasEsta capacitación en vivo dirigida por un instructor en Colombia (en línea o presencial) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones Apache Kafka en la transmisión de datos con Python.
Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.
Fundamentos de Kafka para Desarrolladores Java
14 HorasEste curso dirigido por un instructor y en vivo en Colombia (en línea o presencial) está destinado a desarrolladores de Java intermedios que deseen integrar Apache Kafka en sus aplicaciones para garantizar mensajes confiables, escalables y de alta throughput.
Al final de este curso, los participantes podrán:
- Comprender la arquitectura y los componentes principales de Kafka.
- Configurar un clúster de Kafka.
- Producir y consumir mensajes utilizando Java.
- Implementar Kafka Streams para el procesamiento en tiempo real de datos.
- Asegurar la tolerancia a fallos y la escalabilidad en aplicaciones de Kafka.
Administration of Kafka Message Queue
14 HorasEsta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a administradores de sistemas de nivel intermedio que desean aprovechar las funciones de cola de mensajes de Kafka de manera efectiva.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender las capacidades y la arquitectura de cola de mensajes de Kafka.
- Configure temas de Kafka para escenarios de cola de mensajes.
- Producir y consumir mensajes con Kafka.
- Supervise y administre Kafka como una cola de mensajes.
Seguridad para Apache Kafka
7 HorasEste entrenamiento dirigido por un instructor en Colombia (en línea o presencial) está destinado a testers de software que deseen implementar medidas de seguridad de red en una aplicación de Apache Kafka.
Al final de este entrenamiento, los participantes serán capaces de:
- Implementar Apache Kafka en un servidor basado en la nube.
- Implementar cifrado SSL para prevenir ataques.
- Agregar autenticación ACL para rastrear y controlar el acceso de usuarios.
- Asegurar que los clientes confiables tengan acceso a clústeres Kafka con autenticación SSL y SASL.
PySpark y Aprendizaje Automático
21 HorasEsta formación ofrece una introducción práctica a la creación de flujos de trabajo escalables de procesamiento de datos y aprendizaje automático utilizando PySpark. Los participantes aprenderán cómo funciona Apache Spark dentro de los ecosistemas modernos de Big Data y cómo procesar grandes conjuntos de datos de manera eficiente aplicando los principios de la computación distribuida.
Python y Spark para Big Data (PySpark)
21 HorasEn esta capacitación en vivo dirigida por un instructor en Colombia, los participantes aprenderán a usar Python y Spark juntos para analizar big data mientras trabajan en ejercicios prácticos.
Al final de esta formación, los participantes serán capaces de:
- Aprenda a usar Spark con Python para analizar Big Data.
- Trabaja en ejercicios que imiten casos del mundo real.
- Utilice diferentes herramientas y técnicas para el análisis de big data utilizando PySpark.
Stratio: Módulos Rocket e Intelligence con PySpark
14 HorasStratio es una plataforma especializada en datos que integra big data, inteligencia artificial y gobernanza en una solución integral. Sus módulos Rocket e Intelligence facilitan la exploración rápida de datos, transformaciones y análisis avanzados en entornos empresariales.
Este curso dirigido por un instructor, disponible tanto en modalidad online como presencial, está diseñado para profesionales intermedios en el manejo de datos que desean aprovechar eficazmente los módulos Rocket e Intelligence de Stratio con PySpark, centrándose en estructuras de bucles, funciones definidas por el usuario y lógica avanzada de datos.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Navegar y trabajar dentro de la plataforma Stratio utilizando los módulos Rocket e Intelligence.
- Aplicar PySpark para la ingesta, transformación y análisis de datos.
- Utilizar bucles y lógica condicional para controlar flujos de trabajo de datos y tareas de ingeniería de características.
- Crear y gestionar funciones definidas por el usuario (UDFs) para operaciones reutilizables en PySpark.
Formato del Curso
- Conferencia interactiva y discusión.
- Muchos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarla.