Python | Apache Airflow | PySpark | PostgreSQL

Módulo 1

Fundamentos de Python y Manipulación de Datos

Navegación y gestión del sistema de archivos desde la terminal.
Exploración y búsqueda de archivos de datos desde la terminal.
Ejecución de scripts en Python y configuración básica del entorno.
Instalación de Python, Visual Studio Code, Jupyter Notebook y entornos virtuales.
Estructuras de control y colecciones aplicadas al análisis de datos.
Lectura y análisis básico de archivos CSV con Python.
Carga de múltiples fuentes de datos (CSV, Excel y JSON) utilizando Pandas.
Detección y tratamiento de valores nulos mediante fillna, dropna e interpolate.
Renombrado de columnas, conversión de tipos de datos y estandarización de formatos de fecha.
Filtrado, ordenamiento y agrupamiento de datos con groupby y agg.
Integración de múltiples fuentes de datos mediante merge y concat.
Aplicación de funciones vectorizadas con apply y NumPy para cálculos masivos.
Cálculo de estadísticas descriptivas y detección de valores atípicos (outliers) mediante el método IQR.
Creación de gráficos de distribución, correlación y tendencias con Matplotlib y Seaborn.
Generación de tablas dinámicas (Pivot Tables) y mapas de calor (Heatmaps) para el análisis de patrones de ventas.
Exportación de DataFrames transformados a formatos CSV y Parquet.
Documentación de hallazgos del análisis exploratorio de datos (EDA) mediante celdas Markdown en Jupyter Notebook.
Desarrollo de una función reutilizable de limpieza de datos para su integración en el pipeline del proyecto.

Módulo 2

Bases de Datos y SQL para Ingeniería de Datos

Instalación de PostgreSQL y DBeaver, conexión al servidor y creación de la primera base de datos.
Diseño del modelo Entidad-Relación (ER) del proyecto integrador.
Creación de tablas mediante DDL: tipos de datos, claves primarias, claves foráneas y restricciones.
Manipulación de datos con DML: INSERT, UPDATE y DELETE.
Consultas SELECT con WHERE, ORDER BY, LIMIT y DISTINCT.
Funciones de agregación: SUM, COUNT, AVG, MAX y MIN utilizando GROUP BY y HAVING.
Uso de INNER JOIN, LEFT JOIN, RIGHT JOIN y FULL JOIN en escenarios reales.
Desarrollo de subconsultas en las cláusulas SELECT, FROM y WHERE.
Creación de Common Table Expressions (CTE) mediante WITH para estructurar consultas complejas.
Uso de funciones de ventana: ROW_NUMBER, RANK, LAG, LEAD y SUM OVER (PARTITION BY ...).
Creación de vistas (VIEW) para encapsular consultas frecuentes del negocio.
Optimización de consultas mediante EXPLAIN y creación de índices.
Conexión de Python con PostgreSQL utilizando psycopg2 y SQLAlchemy.
Lectura de resultados de consultas SQL directamente en DataFrames de Pandas.
Escritura de DataFrames en tablas SQL mediante to_sql y manejo de transacciones.
Introducción a MongoDB: inserción, consulta y actualización de documentos JSON.
Comparación entre bases de datos relacionales (SQL) y NoSQL con casos prácticos.
Automatización de la carga diaria de datos mediante scripts de Python parametrizados.

Módulo 3

Pipelines de Datos, Cloud y Big Data

Instalar Apache Airflow con Docker Compose y explorar la interfaz web.
Entender el concepto de DAG, Tasks, Operators y dependencias en Airflow.
Crear un DAG que extrae datos de una API pública, los transforma y los almacena.
Usar PythonOperator, BashOperator y BranchPythonOperator en un mismo DAG.
Configurar variables, conexiones y manejo de errores con retries en Airflow.
Crear sensor que detecta llegada de nuevo archivo para disparar el pipeline.
Instalar PySpark localmente y entender la arquitectura Driver/Executor.
Crear SparkSession y cargar datasets grandes en DataFrames distribuidos.
Aplicar transformaciones lazy: select, filter, withColumn, groupBy, agg.
Ejecutar Spark SQL sobre DataFrames para consultas analíticas a escala.
Leer y escribir datos en formato Parquet y Delta para eficiencia en lectura.
Medir y comparar tiempos de Pandas vs PySpark en el mismo dataset.
Crear cuenta AWS Free Tier; configurar IAM, credenciales y CLI.
Crear bucket S3, subir datos procesados y organizar en particiones (año/mes/día).
Definir catálogo de datos con AWS Glue Crawler para registrar esquemas automáticamente.
Consultar datos en S3 directamente con Amazon Athena usando SQL estándar.
Crear un job de AWS Glue con PySpark para transformar datos en la nube.
Conectar Airflow local a servicios cloud usando AWS Hooks y Operators.

Módulo 4

Data Warehouse y Calidad de Datos

Instalar dbt-core y conectarlo a PostgreSQL; entender la estructura de un proyecto dbt.
Crear modelos de staging que limpian y estandarizan tablas fuente (stg_).
Diseñar modelo estrella: tablas de hechos (fact_ventas) y dimensiones (dim_cliente, dim_producto).
Crear modelos mart con transformaciones de negocio usando SQL en dbt.
Documentar modelos, columnas y relaciones con schema.yml en dbt.
Ejecutar dbt run, dbt test y dbt docs generate para validar y documentar.
Definir expectativas de datos con Great Expectations: not_null, unique, value_range.
Integrar las validaciones de Great Expectations en el pipeline de Airflow.
Implementar logging estructurado en Python para rastrear errores del pipeline.
Crear alertas automáticas por email o Slack cuando un test de calidad falla.
Agregar tests de dbt: uniqueness, not_null, accepted_values, relationships.
Documentar el linaje de datos: origen → transformación → destino con dbt docs.
Conectar Metabase o Power BI al Data Warehouse y crear fuente de datos.
Diseñar y construir dashboard con KPIs clave: ventas, tendencias y segmentación.
Crear gráficos interactivos: filtros por fecha, región y categoría de producto.
Documentar el proyecto final: README completo con arquitectura, instrucciones y capturas.
Preparar presentación de 10 minutos: problema → arquitectura → demo → conclusiones.
Revisar y pulir el repositorio GitHub: estructura clara, commits limpios y README profesional.

Nuevo Programa