Python y Spark para Big Data (PySpark)

Introducción

Comprensión del Big Data

Visión general de Spark

Visión general de Python

Visión general de PySpark

• Distribución de datos utilizando el marco Resilient Distributed Datasets
• Distribución de cálculos utilizando los operadores de la API de Spark

Configuración de Python con Spark

Configuración de PySpark

Uso de instancias EC2 de Amazon Web Services (AWS) para Spark

Configuración de Databricks

Configuración del clúster AWS EMR

Aprendizaje de los fundamentos de la programación en Python

• Primeros pasos con Python
• Uso de Jupyter Notebook
• Uso de variables y tipos de datos simples
• Trabajo con listas
• Uso de instrucciones if
• Uso de entradas de usuario
• Trabajo con bucles while
• Implementación de funciones
• Trabajo con clases
• Trabajo con archivos y excepciones
• Trabajo con proyectos, datos y APIs

Aprendizaje de los fundamentos de Spark DataFrame

• Primeros pasos con Spark DataFrames
• Implementación de operaciones básicas con Spark
• Uso de operaciones Groupby y agregación
• Trabajo con marcas de tiempo y fechas

Trabajo en un ejercicio de proyecto con Spark DataFrame

Comprensión del aprendizaje automático con MLlib

Trabajo con MLlib, Spark y Python para aprendizaje automático

Comprensión de las regresiones

• Aprendizaje de la teoría de la regresión lineal
• Implementación de un código de evaluación de regresión
• Trabajo en un ejercicio de ejemplo de regresión lineal
• Aprendizaje de la teoría de la regresión logística
• Implementación de un código de regresión logística
• Trabajo en un ejercicio de ejemplo de regresión logística

Comprensión de los bosques aleatorios y los árboles de decisión

• Aprendizaje de la teoría de los métodos de árboles
• Implementación de códigos de árboles de decisión y bosques aleatorios
• Trabajo en un ejercicio de ejemplo de clasificación con bosques aleatorios

Trabajo con agrupación K-means

• Comprensión de la teoría de la agrupación K-means
• Implementación de un código de agrupación K-means
• Trabajo en un ejercicio de ejemplo de agrupación

Trabajo con sistemas de recomendación

Implementación del procesamiento del lenguaje natural

• Comprensión del procesamiento del lenguaje natural (PLN)
• Visión general de las herramientas de PLN
• Trabajo en un ejercicio de ejemplo de PLN

Transmisión con Spark en Python

• Visión general de la transmisión con Spark
• Ejercicio de ejemplo de transmisión con Spark

Comentarios de cierre