Este módulo proporciona una base integral y orientada a la práctica en ingeniería de datos moderna y analítica de datos, dotando a los estudiantes de las competencias técnicas necesarias para procesar, gestionar y extraer valor de diversas fuentes de datos. Los participantes aprenderán a utilizar Python y sus principales bibliotecas (NumPy, Pandas, Matplotlib y SciPy) para la transformación y el análisis de datos, al tiempo que adquirirán una sólida comprensión de las arquitecturas de los sistemas Big Data, el procesamiento distribuido en clústeres y los servicios de datos basados en la nube. El curso también aborda temas esenciales como la conversión y estandarización de datos, las técnicas de preparación para el modelado estadístico y el aprendizaje automático (machine learning), así como la visualización eficaz de datos. La exposición a tecnologías emergentes como Blockchain y a sus principios de seguridad garantiza que los estudiantes estén preparados para desenvolverse tanto en entornos consolidados como en entornos en constante evolución basados en datos. Al finalizar el módulo, los estudiantes serán capaces de diseñar e implementar flujos de trabajo de datos de extremo a extremo (end-to-end), desde la ingestión y limpieza de datos hasta su análisis y la comunicación de conclusiones (insights), utilizando herramientas estándar de la industria y siguiendo las buenas prácticas
Para participar con éxito en este módulo, los estudiantes deben disponer de conocimientos básicos sobre el procesamiento de datos en general, incluyendo familiaridad con bases de datos, formatos de datos habituales y técnicas de análisis tanto tradicionales como avanzadas. Es importante contar con conocimientos del lenguaje de programación Python, ya que constituye la herramienta principal para implementar los conceptos y ejercicios desarrollados a lo largo del curso. Asimismo, son recomendables nociones básicas sobre arquitecturas en la nube, dado que muchas de las tecnologías y flujos de trabajo abordados están diseñados para operar en entornos distribuidos o basados en la nube.
El objetivo de Big Data Analysis es enseñarte a utilizar herramientas capaces de gestionar el enorme volumen de datos generado en la era actual. Para ello, trabajarás con una arquitectura de gestión de datos (la Big Data Pipeline), utilizarás tecnologías específicas para el procesamiento de Big Data y desarrollarás aplicaciones mediante programación en Python. Al finalizar este curso, serás capaz de procesar grandes volúmenes de datos y manipularlos para generar estadísticas, métricas y visualizaciones, así como extraer información de valor para el negocio a partir de los datos.
1. Introducción al Big Data
1.1 ¿Qué es Big Data?
1.2 Tipos de datos
1.3 La cadena de valor del dato
1.4 Data Management y Data Governance
1.5 La Big Data Pipeline
1.6 El nuevo rol del Data Engineer
2. La Big Data Pipeline
2.1 Arquitectura y metodología
2.2 Entornos de los sistemas de información
2.3 Patrones generales en el procesamiento de datos
2.4 La arquitectura de referencia de los entornos de información
3. Ingestión de datos
3.1 Tipos de fuentes de datos (Data Sources)
3.2 Alternativas para la ingestión de datos
3.3 Procesamiento batch y procesamiento online
3.4 Ingestión síncrona y asíncrona
4. Repositorios de datos estructurados
4.1 Conceptos básicos de bases de datos
4.2 Data Warehouse
4.3 Modelos de datos
4.4 Tipos de consultas (Queries)
4.5 Casos de uso de Data Warehouse (DWH)
5. Repositorios para datos semiestructurados y no estructurados
5.1 El Data Lake
5.2 Casos de uso del Data Lake
5.3 Concepto de Lakehouse
5.4 Bases de datos NoSQL
5.5 Casos de uso de bases de datos NoSQL
6. Seguridad de los datos y Blockchain
6.1 Conceptos de criptografía y seguridad de los datos
6.2 Arquitectura de Blockchain
6.3 Ejemplos de uso de Blockchain
7. Analítica
7.1 Analítica tradicional y objetivos
7.2 Analítica y patrón de procesamiento de los datos
7.3 Decisión
7.4 Visualización de datos
7.5 Analítica avanzada
7.6 Técnicas de Machine Learning
7.7 Transformers y el mecanismo de atención
8. Procesamiento distribuido de datos
8.1 Características de los clústeres de procesamiento
8.2 Hadoop
8.3 Spark
8.4 Streaming
9. Almacenamiento distribuido de datos
9.1 Arquitectura del almacenamiento de datos
9.2 Clústeres de almacenamiento
9.3 Particionado y réplicas
9.4 El ejemplo de HDFS
9.5 Principales soluciones de almacenamiento distribuido
10. Cloud y Big Data
10.1 Comprendiendo el Cloud
10.2 Arquitectura del Cloud y tipos de servicios
10.3 Principales propuestas y servicios de datos al cloud
11. Mantenibilidad de un entorno de información
11.1 Estrategia de protección
11.2 Extensibilidad, simplicidad y operabilidad
Esta asignatura consta de dos sesiones docentes por semana. Cada sesión se divide en dos partes: la primera está principalmente dirigida por el profesor, durante la cual se presentan nuevos contenidos y fundamentos teóricos; la segunda está dedicada a la realización de ejercicios por parte de los estudiantes con el fin de reforzar y consolidar los conocimientos adquiridos. La evaluación se lleva a cabo de forma periódica mediante la participación en actividades individuales y grupales, así como a través de la entrega de tareas y ejercicios realizados fuera del aula, entre otras evidencias de aprendizaje.
Una parte importante de las actividades y ejercicios prácticos se desarrollará utilizando herramientas cloud estándar o académicas, con el objetivo de familiarizar al estudiante con este tipo de plataformas.
En las últimas sesiones del módulo, los estudiantes desarrollarán un trabajo en grupos de cuatro personas con el objetivo de verificar la asimilación de los conceptos trabajados durante la asignatura.
La metodología integra, por tanto, el trabajo autónomo del estudiante, el aprendizaje colaborativo en el aula y la evaluación formativa continua, garantizando la coherencia entre las actividades formativas, el sistema de evaluación, los criterios de evaluación y la carga de trabajo correspondiente a los créditos ECTS asignados.
Para evaluar si el estudiante ha alcanzado el nivel de aprendizaje previsto en la asignatura, se emplean diferentes actividades de evaluación, realizadas con una periodicidad aproximada semanal.
La siguiente tabla muestra el peso de cada actividad de evaluación en la calificación final de la asignatura:
Tipo de evaluación | Peso | Contenido | Tipo de actividad | Nivel AIAS |
|---|---|---|---|---|
Asistencia y participación | 25% | Todos los temas | Moderadamente importante | 1 |
Actividades | 35% | Aproximadamente 5 o 6 actividades individuales o grupales | Muy importante | 4 |
Examen parcial (Mid-term exam) | 10% | Temas cubiertos hasta la fecha | Moderadamente importante | 1 |
Examen final | 30% | Todos los temas | Muy importante | 1 |
Los estudiantes que no superen la convocatoria ordinaria dispondrán de una Convocatoria Extraordinaria, consistente en un examen de recuperación. Para poder presentarse a esta convocatoria será necesario haber entregado todas las actividades y ejercicios pendientes. La calificación final de la convocatoria extraordinaria se calculará aplicando los mismos porcentajes de ponderación establecidos para la evaluación continua, con una calificación máxima de 6.
Los estudiantes que no se presenten a ninguno de los exámenes de la convocatoria extraordinaria obtendrán la calificación de NP (No Presentado) en dicha convocatoria.
Se valorará:
- La correcta aplicación de los conceptos explicados en clase en la resolución de los ejercicios.
- Las conclusiones derivadas de las actividades realizadas y la correcta interpretación de los resultados obtenidos.
- La claridad, organización y estructura en la presentación de los procedimientos y las soluciones.
- El uso adecuado y autorizado de la inteligencia artificial en las actividades, de acuerdo con las directrices establecidas para la asignatura.
Marin, I., Shukla, A., & VK, S. (2019). Big Data Analysis with Python. Packt Publishing.
Martin Kleppmann, (2019), Designing Data-Intensive Applications [O’Reilly]
---