Creación de aplicaciones de procesamiento de flujo con Kafka Streams
Kafka Streams es una biblioteca del lado del cliente que permite construir aplicaciones y microservicios que manejan datos enviados a y desde el sistema de mensajería Apache Kafka. Tradicionalmente, Apache Kafka ha requerido herramientas como Apache Spark o Apache Storm para procesar los datos entre los productores y consumidores de mensajes. Sin embargo, al utilizar la API de Kafka Streams dentro de una aplicación, es posible procesar los datos directamente en Kafka, eliminando la necesidad de enviarlos a un clúster separado para su procesamiento.
En este curso dirigido por un instructor y realizado en vivo, los participantes aprenderán cómo integrar Kafka Streams en aplicaciones Java de ejemplo que envían y reciben datos de Apache Kafka para el procesamiento de flujos.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Entender las características y ventajas de Kafka Streams frente a otros marcos de procesamiento de flujos
- Procesar datos de flujo directamente dentro del clúster de Kafka
- Desarrollar una aplicación o microservicio en Java o Scala que se integre con Kafka y Kafka Streams
- Escribir código conciso para transformar temas de entrada de Kafka en temas de salida de Kafka
- Construir, empaquetar e implementar la aplicación
Audiencia
- Desarrolladores
Formato del curso
- Parte teórica, parte discusión, ejercicios y mucha práctica hands-on
Notas
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para coordinarlo
Temario del curso
Introducción
- Kafka vs Spark, Flink y Storm
Visión general de las características de Kafka Streams
- Procesamiento con estado y sin estado, procesamiento basado en tiempo de eventos, DSL, operaciones de ventana basadas en tiempo de eventos, etc.
Caso de estudio: API de Kafka Streams para presupuesto predictivo
Configuración del entorno de desarrollo
Creación de una aplicación de flujos
Inicio del clúster de Kafka
Preparación de los temas y datos de entrada
Opciones para el procesamiento de datos de flujo
- DSL de alto nivel de Kafka Streams
- Procesador de bajo nivel
Transformación de los datos de entrada
Inspección de los datos de salida
Detención del clúster de Kafka
Opciones para implementar la aplicación
- Herramientas clásicas de operaciones (Puppet, Chef y Salt)
- Docker
- Archivo WAR
Troubleshooting
Resumen y conclusión
Requerimientos
- Un conocimiento de Apache Kafka
- Experiencia en programación con Java
Los cursos públicos requieren más de 5 participantes.
Creación de aplicaciones de procesamiento de flujo con Kafka Streams - Reserva
Creación de aplicaciones de procesamiento de flujo con Kafka Streams - Consulta
Creación de aplicaciones de procesamiento de flujo con Kafka Streams - Solicitud de consultoría
Testimonios (2)
Las explicaciones eran muy buenas, si bien algunas preguntas pudieron ahorrarse si se hubieran tocado esos puntos al inicio de los temas se notó un buen dominio y experiencia en el tema.
Alan Jaime Rodriguez Garcia - BANCO DE MEXICO
Curso - Stream Processing with Kafka Streams
Recordando/revisando los puntos clave de los temas discutidos.
Paolo Angelo Gaton - SMS Global Technologies Inc.
Curso - Building Stream Processing Applications with Kafka Streams
Traducción Automática
Próximos cursos
Cursos Relacionados
Administración de Confluent Apache Kafka
21 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida diseñada para tuberías de datos de alta capacidad y análisis en tiempo real, resistente a fallos.
Este curso, dirigido por un instructor (tanto en línea como presencial), está destinado a administradores de sistemas de nivel intermedio y profesionales DevOps que desean instalar, configurar, monitorear y solucionar problemas en clusters de Confluent Apache Kafka.
Al finalizar este curso, los participantes serán capaces de:
- Comprender los componentes y la arquitectura de Confluent Kafka.
- Implementar y administrar brokers Kafka, cuórum Zookeeper y servicios clave.
- Configurar características avanzadas como seguridad, replicación y ajuste de rendimiento.
- Utilizar herramientas de gestión para monitorear y mantener clusters Kafka.
Formato del Curso
- Charla interactiva y discusión.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio vivo.
Opciones de Personalización del Curso
- Para solicitar una formación personalizada para este curso, por favor contáctenos para organizarlo.
Apache Kafka Connect
7 HorasEste curso dirigido por un instructor y en vivo en Colombia (en línea o presencial) está destinado a desarrolladores que desean integrar Apache Kafka con bases de datos y aplicaciones existentes para procesamiento, análisis, etc.
Al finalizar este curso, los participantes serán capaces de:
- Utilizar Kafka Connect para ingerir grandes cantidades de datos desde una base de datos a temas de Kafka.
- Ingresar datos de registro generados por servidores de aplicaciones en temas de Kafka.
- Hacer cualquier dato recopilado disponible para el procesamiento de flujos.
- Exportar datos desde temas de Kafka a sistemas secundarios para almacenamiento y análisis.
Confluent Apache Kafka: Operaciones y Configuración del Clúster
16 HorasConfluent Apache Kafka es una plataforma de streaming de eventos distribuida y empresarial que se basa en Apache Kafka. Esta plataforma soporta pipelines de datos con alta capacidad de transferencia, tolerancia a fallos y aplicaciones de streaming en tiempo real.
Este entrenamiento dirigido por instructores (tanto en línea como presencial) está diseñado para ingenieros y administradores de nivel intermedio que desean implementar, configurar y optimizar clústeres Confluent Kafka en entornos de producción.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Instalar, configurar y operar clústeres Confluent Kafka con múltiples brokers.
- Diseñar configuraciones de alta disponibilidad utilizando Zookeeper y técnicas de replicación.
- Ajustar el rendimiento, monitorear métricas y aplicar estrategias de recuperación.
- Implementar medidas de seguridad, escalar e integrar Kafka con entornos empresariales.
Formato del Curso
- Charlas interactivas y discusiones.
- Numerosos ejercicios y prácticas.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para coordinar.
Building Kafka Solutions with Confluent
14 HorasEste curso dirigido por un instructor (en línea o presencial) está diseñado para ingenieros que deseen utilizar Confluent (una distribución de Kafka) para desarrollar y gestionar una plataforma de procesamiento de datos en tiempo real para sus aplicaciones.
A la conclusión de este curso, los participantes serán capaces de:
- Instalar y configurar la Plataforma Confluent.
- Utilizar las herramientas y servicios de gestión de Confluent para facilitar la ejecución de Kafka.
- Almacenar y procesar datos de flujo entrantes.
- Optimizar y administrar clústeres de Kafka.
- Asegurar los flujos de datos.
Formato del Curso
- Lectura interactiva y debate.
- Numerosos ejercicios y práctica.
- Implementación práctica en un entorno de laboratorio en vivo.
Opciones de Personalización del Curso
- Este curso se basa en la versión de código abierto de Confluent: Confluent Open Source.
- Para solicitar un entrenamiento personalizado para este curso, por favor contáctenos para realizar los arreglos necesarios.
Construcción de Pipelines de Datos con Apache Kafka
7 HorasApache Kafka es una plataforma de streaming distribuida que se ha convertido en un estándar de facto para la construcción de pipelines de datos. Resuelve diversos casos de uso relacionados con el procesamiento de datos, como su uso como cola de mensajes, registro distribuido o procesador de flujos.
Comenzaremos explorando algunas teorías generales detrás de los pipelines de datos y luego nos adentraremos en los conceptos fundamentales de Kafka. También conoceremos componentes clave como Kafka Streams y Kafka Connect.
Una introducción práctica al procesamiento de flujo
21 HorasEn este entrenamiento dirigido por un instructor en Colombia (presencial o remoto), los participantes aprenderán cómo configurar e integrar diferentes marcos de Procesamiento de Flujos con sistemas de almacenamiento de datos grandes y aplicaciones y microservicios relacionados existentes.
Al final de este entrenamiento, los participantes serán capaces de:
- Instalar y configurar diferentes marcos de Procesamiento de Flujos, como Spark Streaming y Kafka Streaming.
- Entender y seleccionar el marco más apropiado para el trabajo.
- Procesar datos continuamente, concurrentemente y de forma individual.
- Integrar soluciones de Procesamiento de Flujos con bases de datos existentes, almacenes de datos, lagos de datos, etc.
- Integrar la biblioteca de procesamiento de flujos más apropiada con aplicaciones empresariales y microservicios.
Mensajería Distribuida con Apache Kafka
14 HorasEste curso está diseñado para arquitectos empresariales, desarrolladores, administradores de sistemas y cualquier persona interesada en comprender y utilizar un sistema de mensajería distribuida de alto rendimiento. Si tiene requisitos más específicos (por ejemplo, solo la parte de administración de sistemas), este curso puede ser ajustado para satisfacer mejor sus necesidades.
Kafka para Administradores
21 HorasEste entrenamiento dirigido por un instructor en vivo en Colombia (en línea o presencial) está orientado a administradores de sistemas y ingenieros de operaciones de nivel principiante/intermedio/avanzado que desean utilizar Apache Kafka para implementar, asegurar, monitorear y solucionar problemas de clústeres de Kafka.
Al final de este entrenamiento, los participantes serán capaces de: explicar la arquitectura de Kafka y el modo KRaft, operar y asegurar clústeres de Kafka, monitorear el rendimiento y la confiabilidad, y resolver problemas comunes en producción.
Apache Kafka para Desarrolladores
21 HorasEste entrenamiento dirigido por un instructor (en línea o presencial) en Colombia está destinado a desarrolladores de nivel intermedio que deseen desarrollar aplicaciones de big data con Apache Kafka.
Al finalizar este entrenamiento, los participantes serán capaces de:
- Desarrollar productores y consumidores de Kafka para enviar y leer datos desde Kafka.
- Integrar Kafka con sistemas externos usando Kafka Connect.
- Escribir aplicaciones de transmisión de datos con Kafka Streams & ksqlDB.
- Integrar una aplicación cliente de Kafka con Confluent Cloud para despliegues basados en la nube.
- Adquirir experiencia práctica a través de ejercicios prácticos y casos de uso del mundo real.
Apache Kafka para Programadores de Python
7 HorasEsta capacitación en vivo dirigida por un instructor en Colombia (en línea o presencial) está dirigida a ingenieros de datos, científicos de datos y programadores que deseen utilizar las funciones Apache Kafka en la transmisión de datos con Python.
Al final de esta capacitación, los participantes podrán usar Apache Kafka para monitorear y administrar condiciones en flujos de datos continuos utilizando Python programación.
Fundamentos de Kafka para Desarrolladores Java
14 HorasEste curso dirigido por un instructor y en vivo en Colombia (en línea o presencial) está destinado a desarrolladores de Java intermedios que deseen integrar Apache Kafka en sus aplicaciones para garantizar mensajes confiables, escalables y de alta throughput.
Al final de este curso, los participantes podrán:
- Comprender la arquitectura y los componentes principales de Kafka.
- Configurar un clúster de Kafka.
- Producir y consumir mensajes utilizando Java.
- Implementar Kafka Streams para el procesamiento en tiempo real de datos.
- Asegurar la tolerancia a fallos y la escalabilidad en aplicaciones de Kafka.
Administration of Kafka Message Queue
14 HorasEsta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a administradores de sistemas de nivel intermedio que desean aprovechar las funciones de cola de mensajes de Kafka de manera efectiva.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender las capacidades y la arquitectura de cola de mensajes de Kafka.
- Configure temas de Kafka para escenarios de cola de mensajes.
- Producir y consumir mensajes con Kafka.
- Supervise y administre Kafka como una cola de mensajes.
Seguridad para Apache Kafka
7 HorasEste entrenamiento dirigido por un instructor en Colombia (en línea o presencial) está destinado a testers de software que deseen implementar medidas de seguridad de red en una aplicación de Apache Kafka.
Al final de este entrenamiento, los participantes serán capaces de:
- Implementar Apache Kafka en un servidor basado en la nube.
- Implementar cifrado SSL para prevenir ataques.
- Agregar autenticación ACL para rastrear y controlar el acceso de usuarios.
- Asegurar que los clientes confiables tengan acceso a clústeres Kafka con autenticación SSL y SASL.
Apache Kafka y Spring Boot
7 HorasEsta capacitación dirigida por un instructor (en línea o presencial) en Colombia está diseñada para desarrolladores de nivel intermedio que desean aprender los fundamentos de Kafka e integrarlo con Spring Boot.
Al final de esta formación, los participantes podrán:
- Comprender Kafka y su arquitectura.
- Aprender a instalar, configurar y establecer un entorno básico de Kafka.
- Integrar Kafka con Spring Boot.
Administration of Kafka Topic
14 HorasEsta capacitación en vivo dirigida por un instructor en Colombia (en línea o en el sitio) está dirigida a administradores de sistemas de nivel principiante a intermedio que deseen aprender a administrar de manera efectiva los temas de Kafka para una transmisión y procesamiento de datos eficientes.
Al final de esta capacitación, los participantes serán capaces de:
- Comprender los fundamentos y la arquitectura del tema de Kafka.
- Cree, configure y administre temas de Kafka.
- Supervise el estado, el rendimiento y la disponibilidad de los temas de Kafka.
- Implementar medidas de seguridad para los temas de Kafka.