Nombre: PROCESAMIENTO PARALELO DE DATOS
Código: 525103008
Carácter: Obligatoria
ECTS: 6
Unidad Temporal: Cuatrimestral
Despliegue Temporal: Curso 3º - Segundo cuatrimestre
Menciones/Especialidades:
Lengua en la que se imparte: Castellano
Carácter: Presencial
Nombre y apellidos: GARRIGÓS GUERRERO, FRANCISCO JAVIER
Área de conocimiento: Arquitectura y Tecnología de Computadores
Departamento: Electrónica, Tecnología de Computadores y Proyectos
Teléfono: 968326461
Correo electrónico: javier.garrigos@upct.es
Horario de atención y ubicación durante las tutorias:
lunes - 11:00 / 14:00
ANTIGONES, planta 1, Despacho Despacho 9
jueves - 11:00 / 14:00
ANTIGONES, planta 1, Despacho Despacho 9
Titulaciones:
Doctor en Doctor en la Universidad Politécnica de Cartagena (ESPAÑA) - 2002
Máster en Master Universitario en Diseño, Robótica y Automatización Industrial en la Universidad de Murcia (ESPAÑA) - 1996
Ingeniero en Ingeniero Industrial en la Universidad de Murcia (ESPAÑA) - 1995
Ingeniero Técnico en Ingeniero Técnico Industrial - Electricidad en la Universidad de Murcia (ESPAÑA) - 1991
Categoría profesional: Profesor Titular de Universidad
Nº de quinquenios: 5
Nº de sexenios: 3 de investigación y 1 de transferencia
Curriculum Vitae: Perfil Completo
Responsable de los grupos: G1
Nombre y apellidos: LÓPEZ PASTOR, JOSÉ ANTONIO
Área de conocimiento: Arquitectura y Tecnología de Computadores
Departamento: Electrónica, Tecnología de Computadores y Proyectos
Teléfono: 968325378
Correo electrónico: joseantonio.lopez@upct.es
Horario de atención y ubicación durante las tutorias:
Titulaciones:
Categoría profesional: Profesor Ayudante Doctor
Nº de quinquenios: No procede por el tipo de figura docente
Nº de sexenios: No procede por el tipo de figura docente
Curriculum Vitae: Perfil Completo
[CB2 ]. Que los estudiantes sepan aplicar sus conocimientos a su trabajo o vocación de una forma profesional y posean las competencias que suelen demostrarse por medio de la elaboración y defensa de argumentos y la resolución de problemas dentro de su área de estudio
[CG2 ]. Conocer y aplicar los fundamentos de ingeniería y tecnologías informáticas actuales para diseñar e implementar nuevas aplicaciones de análisis de datos.
[CG3 ]. Capacidad para desarrollar experimentos y para implementar sistemas, infraestructuras, procesos y herramientas con el fin de soportar la manipulación de los datos durante todo el ciclo de vida de estos.
[CE7 ]. Conocer la arquitectura y el funcionamiento de los computadores, la interconexión de los componentes que los forman y su software de sistema básico.
[CE9 ]. Utilizar sistemas distribuidos, sistemas de cálculo paralelo, sistemas de procesamiento por lotes y plataformas de procesamiento de flujos de datos, incluyendo soluciones online y basadas en la nube para la provisión de servicios bajo demanda y escalables.
Conocer los modelos de programación y la capa de soporte del sistema operativo para el desarrollo de aplicaciones paralelas.
Aprender técnicas de análisis y diseño de algoritmos paralelos intensivos en datos.
Ser capaz de identificar y resolver los problemas fundamentales de las aplicaciones paralelas.
Aprender a usar herramientas e infraestructuras de soporte para la computación paralela intensiva, incluyendo soluciones online y basadas en la nube.
Introducción a la programación paralela. Soporte del sistema operativo. Modelos de programación paralela.<br>Computación paralela intensiva en datos (paralelismo de datos, modelos y abstracciones).<br>Software y entorno de ejecución específico para análisis avanzados.<br><br><br><br><br><br><br><br><br><br>
Tema 1: Introducción
- Introducción a los sistemas paralelos
- Introducción a los sistemas distribuidos
- Arquitecturas para Big Data
Tema 2: MapReduce
- Modelos de procesamiento
- Ejemplos de implementaciones
Tema 3: Hadoop
- Introducción
- Arquitectura
- YARN
- Diseño de programas MapReduce
Tema 4: Apache Spark
- Introducción
- Operaciones básicas
- Operaciones con DataFrames
- Resilient Distributed Datasets
- Persistencia y particionado
- Modos de despliegue
Tema 5: Dask
- Paralelización a bajo nivel (delayed y futures)
- Paralelización con dataframes
- Paralelización de algoritmos de Machine Learning (dask-ml)
- Paralelización distribuida (cluster)
- Paralelización en GPU (RAPIDS)
Práctica 1. Análisis de prestaciones, paralelización y ejecución distribuida
Relacionado con los contenidos del tema 1 (programas paralelos: pruebas y medición de prestaciones, profiling, speedup, escalabilidad, etc | programas distribuidos: MPI en python).
Práctica 2. Gestión de un cluster Hadoop. MapReduce en Python usando MRJob.
Relacionado con los contenidos del tema 2 y 3.
Práctica 3. Programación en Apache Spark.
Relacionado con los contenidos del tema 4 (ejercicios en Python/Spark para evaluar las funcionalidades básicas y avanzadas de Apache Spark).
Práctica 4. Programación en Dask.
Relacionado con los contenidos del tema 5 (ejercicios en Python/Dask para evaluar las funcionalidades básicas y avanzadas de Dask).
La Universidad Politécnica de Cartagena considera como uno de sus principios básicos y objetivos fundamentales la promoción de la mejora continua de las condiciones de trabajo y estudio de toda la Comunidad Universitaria. Este compromiso con la prevención y las responsabilidades que se derivan atañe a todos los niveles que integran la Universidad: órganos de gobierno, equipo de dirección, personal docente e investigador, personal de administración y servicios y estudiantes. El Servicio de Prevención de Riesgos Laborales de la UPCT ha elaborado un "Manual de acogida al estudiante en materia de prevención de riesgos" que puedes encontrar en el Aula Virtual en el apartado actúa sobre una emergencia, pestaña "guías técnicas", y en el que encontrarás instrucciones y recomendaciones acerca de cómo actuar de forma correcta, desde el punto de vista de la prevención (seguridad, ergonomía, etc.), cuando desarrolles cualquier tipo de actividad en la Universidad. También encontrarás en el apartado actúa sobre una emergencia, recomendaciones sobre cómo proceder en caso de emergencia o que se produzca algún incidente. En especial, cuando realices prácticas docentes en laboratorios, talleres o trabajo de campo, debes seguir todas las instrucciones del profesorado, que es la persona responsable de tu seguridad y salud durante su realización. Consúltale todas las dudas que te surjan y no pongas en riesgo tu seguridad ni la de tus compañeros.
Part 1: Introduction
- Introduction to parallel systems
- Introduction to distributed systems
- Architectures for Big Data
Part 2: MapReduce
- Processing models
- Implementation examples
Part 3: Hadoop
- Introduction
- Architecture
- YARN
- MapReduce program design
Part 4: Apache Spark
- Introduction
- Basic operations
- Operations with DataFrames
- Resilient Distributed Datasets
- Persistence and partitioning
- Deployment modes
Part 5: Dask
- Low-level parallelization (delayed and futures)
- Parallelization with DataFrames
- Parallelization of machine learning algorithms (dask-ml)
- Distributed parallelization (cluster)
- GPU parallelization (RAPIDS)
Exposición teórica: Exposición de los contenidos teóricos de la asignatura por parte del profesor. También se contemplan las sesiones informativas sobre el desarrollo del trabajo de fin de grado o prácticas externas.
Exposición de los contenidos teóricos de la asignatura por parte del profesor.
20
100
Seminarios y actividades de aula: Exposición, análisis y debate dentro del contexto de aplicaciones específicas de contenidos teóricos, así como planteamiento y resolución de ejercicios y casos prácticos en el aula, tanto al grupo completo como en grupos reducidos. También se contemplan conferencias, debates y seminarios temáticos.
Exposición, análisis y debate dentro del contexto de aplicaciones específicas de contenidos teóricos, así como planteamiento y resolución de ejercicios y casos prácticos en el aula
5
100
Prácticas de laboratorio: Ejercicios y resolución de problemas, aprendizaje orientado a proyectos, estudio de casos, exposición y discusión de trabajos, simulaciones y/o prácticas con ordenadores, generalmente desarrolladas en grupos reducidos.
Ejercicios y resolución de problemas, aprendizaje orientado a proyectos, estudio de casos, exposición y discusión de trabajos, simulaciones y/o prácticas con ordenadores
28
100
Trabajo autónomo del alumno: Estudio y preparación de contenidos teórico-prácticos, trabajo individual consistente en lecturas, búsquedas de información, sistematización de contenidos, elaboración de informes o estudio para la elaboración de casos entre otras actividades.
Estudio y preparación de contenidos teórico-prácticos, trabajo individual consistente en lecturas, búsquedas de información, sistematización de contenidos, elaboración de informes o estudio para la elaboración de casos entre otras actividades.
90
0
Tutorías formativas y resolución de dudas: Asistencia individualizada -tutorías individuales- o en grupo -tutorías colectivas- a los estudiantes por parte del profesor.
Asistencia individualizada -tutorías individuales- o en grupo -tutorías colectivas- a los estudiantes por parte del profesor
3
100
Evaluación: Pruebas individuales, ya sean escritas, orales o con medios informáticos, donde el estudiante demostrará los conocimientos teóricos y prácticos adquiridos durante las actividades formativas asociadas a la enseñanza de la materia.
Pruebas individuales, ya sean escritas, orales o con medios informáticos, donde el estudiante demostrará los conocimientos teóricos y prácticos adquiridos durante las actividades formativas asociadas a la enseñanza de la materia
4
100
Exámenes individuales: Pruebas objetivas, de desarrollo, de respuesta corta, de ejecución de tareas o de escala de actitudes, realizadas por los estudiantes para mostrar los conocimientos teóricos y prácticos adquiridos ya sea de forma oral, escrita o utilizando un ordenador.
EXAMEN TEORÍA. Prueba de evaluación global de carácter obligatorio consistente en un examen que evaluará los contenidos teóricos de la asignatura. Este ítem de evaluación será calificado con un valor entre [0,10], que denotaremos por NET. La calificación NET tendrá un peso del 40% en la calificación global de la asignatura. Para compensar esta parte, NET debe ser mayor o igual a 4. Si el alumno compensa esta parte pero no aprueba la asignatura, la calificación NET se mantendrá hasta la última convocatoria del presente curso académico.
40 %
Procedimientos de observación del trabajo del estudiante: Registros de participación, de realización de actividades, cumplimiento de plazos, participación en foros, informes de seguimiento del trabajo fin de grado y registros sobre el desarrollo de las prácticas externas.
Esta componente evalúa el trabajo continuo del estudiante por medio de TAREAS PRÁCTICAS solicitadas durante el desarrollo académico ordinario de la asignatura. Será calificado con un valor entre [0,10], que denotaremos por NTP. La calificación NTP, que tiene un peso del 20% en la calificación global de la asignatura, se calculará como una media ponderada de las calificaciones obtenidas en cada una de las tareas prácticas propuestas. Para la evaluación de las tareas prácticas el profesor podría requerir al alumno la realización de una entrevista.
Para compensar esta parte, NTP debe ser mayor o igual a 4. Si el alumno compensa esta parte pero no aprueba la asignatura, la calificación NTP se mantendrá hasta la última convocatoria del presente curso académico.
En las convocatorias extraordinarias, los profesores propondrán tareas prácticas de recuperación para aquellos estudiantes que no hayan compensado esta parte en la convocatoria ordinaria.
Según lo dispuesto en el artículo 8.6 del Reglamento de Evaluación de Estudiantes (REVA), los estudiantes que, por circunstancias sobrevenidas y debidamente justificadas, no puedan optar a este punto por evaluación continua, dicho 30% de la nota pasará al examen práctico (que supondrá un 60% de la nota global, en vez del 30% cuando se hace uso del mecanismo de evaluación continua).
30 %
Informe técnico. En este instrumento incluimos los resultados de actividades prácticas, o de laboratorio, junto con sus memorias descriptivas y posibles resúmenes del estado del arte sobre temas concretos. La opción de realizar entrevistas personales o presentaciones de los trabajos realizados también entran en esta categoría.
EXAMEN PRÁCTICO. Prueba de evaluación global de carácter obligatorio consistente en un examen que evaluará los contenidos prácticos de la asignatura haciendo uso de un ordenador. Este ítem de evaluación será calificado con un valor entre [0,10], que denotaremos por NEP. La calificación NEP tendrá un peso del 30% en la calificación global de la asignatura. Para compensar esta parte, NEP debe ser mayor o igual a 4. Si el alumno compensa esta parte pero no aprueba la asignatura, la calificación NEP se mantendrá hasta la última convocatoria del presente curso académico.
30 %
La calificación global de la asignatura (N) se calculará según la siguiente expresión:
N=0.4*(NET)+0.3*(NEP)+0.3*(NTP)
Para aprobar la asignatura el alumno debe obtener una calificación de 4.0 en cada una de las partes (NET, NEP y NTP), y que la calificación global de la asignatura N sea mayor o igual a 5.0.
Para aquellos alumnos que se acojan a la excepcionalidad considerada por el artículo 8.6 del Reglamento de Evaluación de Estudiantes (REVA), la calificación global de la asignatura (N) se calculará según la siguiente expresión:
N=0.4*(NET)+0.6*(NEP)
Para aprobar la asignatura el alumno debe obtener una calificación de 4.0 en NET y NEP, y que la calificación global de la asignatura N sea mayor o igual a 5.0.
------------
Cuando un alumno obtiene una nota menor a 4.0 en NET, NEP o NTP, y la calificación de la asignatura (N) resulte ser igual o mayor a 5.0, la calificación final de la asignatura (N) será de 4.5.
------------
Se ruega que los alumnos hagan uso del Aula Virtual para realizar peticiones o consultas. Alternativamente se puede emplear el correo electrónico, aunque se advierte que NO será atendida ninguna petición/consulta realizada desde cualquier correo electrónico que no sea el institucional de la UPCT.
------------
Aquellos estudiantes con discapacidad o necesidades educativas especiales podrán dirigirse al Servicio de Atención a la Diversidad y Voluntariado (ADYV; https://www.um.es/web/adyv/inicio) para recibir orientación sobre un mejor aprovechamiento de su proceso formativo y, en su caso, la adopción de medidas de equiparación y de mejora para la inclusión, en virtud de la Resolución Rectoral R358/2016. El tratamiento de la información sobre este alumnado, en cumplimiento con la LOPD, es de estricta confidencialidad.
------------
Autor: George Coulouris, Jean Dollmore, Tim Kindberg
Título: Sistemas distribuidos. Conceptos y diseño
Editorial: Grupo Anaya Publicaciones Generales
Fecha Publicación:
ISBN: 8478290494
Autor: Martin Kleppmann
Título: Designing Data Intensive Application
Editorial: O'Reilly Media
Fecha Publicación:
ISBN: 1449373321
Autor: Nathan Marz y otros
Título: Big Data: Principles and Best Practices of Scalable Realtime Data Systems
Editorial: Manning Publications
Fecha Publicación:
ISBN: 1617290343
Autor: Holden Karau, Mika Kimmins
Título: Scaling Python with Dask. From Data Science to Machine Learning
Editorial: O'Reilly Media
Fecha Publicación:
ISBN: 1098119878
Autor: Almeida, Francisco
Título: Introducción a la programación paralela
Editorial: Paraninfo
Fecha Publicación: 2008
ISBN: 9788497326742
Autor: John L. Hennessy, David A. Patterson
Título: Computer architecture: a quantitative approach
Editorial: Morgan Kaufmann
Fecha Publicación:
ISBN: 012383872X
Autor: Tom White
Título: Hadoop: The Definitive Guide
Editorial: O'Reilly Media
Fecha Publicación:
ISBN: 0596521979
Autor: Holden Karau y otros
Título: Learning Spark: Lightning-Fast Big Data Analysis
Editorial: O'Reilly Media
Fecha Publicación:
ISBN: 1449358624
Autor: Fabian Hueske y VasilikiKalavri
Título: Stream Processing with Apache Flink: Fundamentals, Implementation, and Operation of Streaming Applications
Editorial: O'Reilly Media
Fecha Publicación:
ISBN: 149197429X
Autor: Maurice Herlihy, NirShavit, Victor Luchangco, Michael Spear
Título: The Art of Multiprocessor Programming
Editorial: Elsevier LTD
Fecha Publicación:
ISBN: 9780124159501
Autor: Fabio Nelli
Título: Parallel and High Performance Programming with Python. Unlock parallel and concurrent programming in Python using multithreading, CUDA, Pytorch and Dask
Editorial: Orange Education Pvt Ltd
Fecha Publicación:
ISBN: 9388590732