Apache NiFi para administradores

Fundamentos de NiFi y el flujo de datos

• Datos en movimiento vs. datos en reposo: conceptos y desafíos.
• Arquitectura de NiFi: núcleos, controlador de flujo, procedencia y boletín.
• Componentes clave: procesadores, conexiones, controladores y procedencia.

Contexto de Big Data e integración

• El papel de NiFi en los ecosistemas de Big Data (Hadoop, Kafka, almacenamiento en la nube).
• Visión general de HDFS, MapReduce y alternativas modernas.
• Casos de uso: ingesta de flujos, envío de registros (log shipping) y pipelines de eventos.

Instalación, configuración y establecimiento de clusters

• Instalación de NiFi en un solo nodo y en modo cluster.
• Configuración de cluster: roles de nodos, ZooKeeper y equilibrado de carga.
• Orquestación de despliegues de NiFi: uso de Ansible, Docker o Helm.

Diseño y gestión de flujos de datos

• Enrutamiento, filtrado, división y fusión de flujos.
• Configuración de procesadores (InvokeHTTP, QueryRecord, PutDatabaseRecord, etc.).
• Manejo de esquemas (schemas), enriquecimiento y operaciones de transformación.
• Manejo de errores, relaciones de reintento y presión de retroceso (backpressure).

Escenarios de integración

• Conexión a bases de datos, sistemas de mensajería y APIs REST.
• Transmisión en streaming a sistemas analíticos: Kafka, Elasticsearch o almacenamiento en la nube.
• Integración con Splunk, Prometheus o pipelines de registros.

Monitoreo, recuperación y procedencia

• Uso de la interfaz de usuario de NiFi, métricas y visualizador de procedencia.
• Diseño de recuperación autónoma y manejo adecuado de fallas.
• Copias de seguridad, versionado de flujos y gestión de cambios.

Ajuste de rendimiento y optimización

• Ajuste de JVM, heap, pools de hilos y parámetros de clústerización.
• Optimización del diseño del flujo para reducir cuellos de botella.
• Aislamiento de recursos, priorización de flujos y control de throughput.

Mejores prácticas y gobierno

• Documentación de flujos, estándares de nomenclatura y diseño modular.
• Seguridad: TLS, autenticación, control de acceso y cifrado de datos.
• Control de cambios, versionado, acceso basado en roles y trazas de auditoría.

Resolución de problemas y respuesta a incidentes

• Problemas comunes: bloqueos (deadlocks), fugas de memoria y errores de procesadores.
• Análisis de registros, diagnóstico de errores e investigación de la causa raíz.
• Estrategias de recuperación y reversión de flujos.

Laboratorio práctico: Implementación realista de un pipeline de datos

• Construcción de un flujo de extremo a extremo: ingesta, transformación y entrega.
• Implementación del manejo de errores, presión de retroceso y escalabilidad.
• Prueba de rendimiento y ajuste del pipeline.

Resumen y próximos pasos