Guía docente de la asignatura
(7926) DEEP LEARNING PARA PROCESAMIENTO DEL LENGUAJE NATURAL

Curso académico 2024/2025

  1. Identificación

    1. De la asignatura

      2. Curso Académico
      2024/2025
      Titulación
      MÁSTER UNIVERSITARIO EN INTELIGENCIA ARTIFICIAL / MASTER IN ARTIFICIAL INTELLIGENCE
      Nombre de la asignatura
      DEEP LEARNING PARA PROCESAMIENTO DEL LENGUAJE NATURAL
      Código
      7926
      Curso
      PRIMERO
      Carácter
      OBLIGATORIA
      Número de grupos
      1
      Créditos ECTS
      6.0
      Estimación del volumen de trabajo
      150.0
      Organización temporal
      1º Cuatrimestre
      Idiomas en que se imparte
      Inglés
      Español
      Curso Académico 2024/2025
      Titulación

      MÁSTER UNIVERSITARIO EN INTELIGENCIA ARTIFICIAL / MASTER IN ARTIFICIAL INTELLIGENCE
      Nombre de la asignatura DEEP LEARNING PARA PROCESAMIENTO DEL LENGUAJE NATURAL
      Código 7926
      Curso PRIMERO
      Carácter OBLIGATORIA
      Número de grupos 1
      Créditos ECTS 6.0
      Estimación del volumen de trabajo 150.0
      Organización temporal 1º Cuatrimestre
      Idiomas en que se imparte Inglés, Español

    2. Del profesorado: Equipo docente

      • VALENCIA GARCIA, RAFAEL Docente: GRUPO 1 Coordinación de los grupos: GRUPO 1 Coordinador de la asignatura

        Categoría

        CATEDRATICOS DE UNIVERSIDAD

        Área

        LENGUAJES Y SISTEMAS INFORMÁTICOS

        Departamento

        INFORMÁTICA Y SISTEMAS

        Correo electrónico / Página web / Tutoría electrónica

        valencia@um.es http://webs.um.es/valencia Tutoría electrónica: Sí

        Teléfono, horario y lugar de atención al alumnado

        Duración:
        C2         		Día:
        Miércoles         		Horario:
        10:00-13:00         		Lugar:
        868888522, Facultad de Informática B1.2.037
        Observaciones:
        El despacho del profesor es el 2.29 que está en el pasillo central de la segunda planta de la Facultad de Informática. Las tutorías se atenderán por videoconferencia o presencialmente. Por favor, envíen un mensaje privado y se realizará la tutoría en este horario o en otro adecuado.
        Duración:
        C1         		Día:
        Lunes         		Horario:
        10:00-13:00         		Lugar:
        868888522, Facultad de Informática B1.2.037
        Observaciones:
        El despacho del profesor es el 2.29 que está en el pasillo central de la segunda planta de la Facultad de Informática. Las tutorías se atenderán por videoconferencia o presencialmente. Por favor, envíen un mensaje privado y se realizará la tutoría en este horario o en otro adecuado.
      • BOTIA BLAYA, JUAN ANTONIO Docente: GRUPO 1 Coordinación de los grupos:

        Categoría

        CATEDRATICOS DE UNIVERSIDAD

        Área

        CIENCIA DE LA COMPUTACIÓN E INTELIGENCIA ARTIFICIAL

        Departamento

        INGENIERÍA DE LA INFORMACIÓN Y LAS COMUNICACIONES

        Correo electrónico / Página web / Tutoría electrónica

        juanbot@um.es Tutoría electrónica: Sí

        Teléfono, horario y lugar de atención al alumnado

        Duración:
        C2         		Día:
        Martes         		Horario:
        10:00-13:00         		Lugar:
        No consta
        Observaciones:
        https://umurcia.zoom.us/meeting/tJMkdOutrjktG9DoVsu2yD8W6UIoozs3Et5n/ics?icsToken=98tyKuCvpzgoH9SXtxiDRowEHYjCa-_ziHpajfp5kyn2FnJKRlvBYNdrPb1lA4v1
      • GARCIA DIAZ, JOSE ANTONIO Docente: GRUPO 1 Coordinación de los grupos:

        Categoría

        PROFESOR AYUDANTE DOCTOR

        Área

        LENGUAJES Y SISTEMAS INFORMÁTICOS

        Departamento

        INFORMÁTICA Y SISTEMAS

        Correo electrónico / Página web / Tutoría electrónica

        joseantonio.garcia8@um.es Tutoría electrónica: Sí

        Teléfono, horario y lugar de atención al alumnado

        Duración:
        A         		Día:
        Miércoles         		Horario:
        09:00-11:00         		Lugar:
        868884637, Facultad de Informática B1.2.039 (DESPACHO 2,31)
        Observaciones:
        Despacho 2.31 (2ª planta, facultad de Informática, Dpto de Informática y Sistemas) Para tutoría electrónica, por favor, contactadme por email para enviaros un enlace de ZOOM
      • PARDO PEREZ, JOSE ADRIAN Docente: GRUPO 1 Coordinación de los grupos:

        Categoría

        INVESTIGADOR/A PREDOCTORAL (SÉNECA)

        Área

        No consta

        Departamento

        No consta

        Correo electrónico / Página web / Tutoría electrónica

        joseadrian.pardop@um.es Tutoría electrónica: No

        Teléfono, horario y lugar de atención al alumnado

  2. Presentación

    3. El objetivo principal de esta asignatura es el de adquirir conocimientos básicos para trabajar con tecnologías para el procesamiento del lenguaje natural (PLN) tanto clásicas como basadas en deep learning. Para ello, primero se estudiará el Deep learning de manera introductiria para que el alumno adquiera conceptos básicos de redes neuronales clásicas y recurrentes hasta llegar a modelos basados en atención. Posteriormente, se estudiarán aproximaciones al lenguaje natural basadas en conocimiento y corpus, las representaciones avanzadas de texto y las tecnologías para el desarrollo de modelos Deep para el PLN, centrándonos en los modelos del lenguaje de gran escala (LLM). Desde un punto de vista práctico, se estudiarán distintas librerías, frameworks y cómo se pueden abordar distintas tareas de procesamiento del lenguaje natural como la clasificación de texto, resumen automático, sistemas pregunta y respuesta o los chatbots. Se aplicarán distintos tipos de tecnologías y enfoques como el zero-shot y few-shot learning así como el fine-tuning de modelos para tareas de PLN. Por último, se estudiarán distintas entornos software para el desarrollo y despliegue de este tipo de software en la nube.

  3. Condiciones de acceso a la asignatura

    1. Incompatibilidades

      2. No constan

    2. Requisitos

      3. No constan

    3. Recomendaciones

      4. No constan

  4. Contenidos

    1. Teoría

      2. Tema 1: INTRODUCCIÓN AL DEEP LEARNING

      • Redes neuronales.
      • Redes densas.
      • Redes recurrentes.
      • Redes basadas en atención.
      • Arquitecturas de red específicas para tareas del lenguaje.
      • Frameworks para el deep learning.

      Tema 2: INTRODUCCIÓN AL PROCESAMIENTO DEL LENGUAJE NATURAL

      • Procesamiento del lenguaje natural.
      • Métodos basados en conocimiento vs métodos basados en corpus.
      • Niveles de procesamiento del lenguaje.
      • Representación de textos. Modelo del espacio vectorial, n-gramas, char-n-gramas.
      • Librerías y herramientas para el Procesamiento de Lenguaje Natural clásico.

      Tema 3: INGENIERÍA DE APLICACIONES DE IA BASADAS EN PROCESAMIENTO DEL LENGUAJE NATURAL

      • Representaciones avanzadas de textos.
      • Codificación de textos basada en embeddings.
      • Calidad en modelos del lenguaje.
      • Tareas de procesamiento del lenguaje natural.
      • Pre-training y Fine tuning.
      • Zero shot and few shot learning con LLM.
      • Optimización de LLM.
      • APIs y frameworks para desarrollo de aplicaciones de Procesamiento de Lenguaje Natural.
      • Aplicaciones prácticas de Procesamiento de Lenguaje Natural.

    2. Prácticas

      • Práctica 1: P1. Desarrollo de un modelo de red neuronal desde cero

        Sesiones de prácticas que incluyen la familiarización con la tecnología de redes neuronales y el framework de desarrollo de Deep learning de Pytorch a nivel introductorio.

        Relacionado con:
        • Tema 1: INTRODUCCIÓN AL DEEP LEARNING

      • Práctica 2: P2. Aplicaciones prácticas de tecnologías de Deep learning y procesamiento del lenguaje natural

        Sesiones de prácticas que incluyen la realización de ejercicios sencillos sobre distintas aplicaciones y tecnologías del lenguaje humano como clasificación de texto, reconocimiento de entidades o sistemas de pregunta-respuesta y uso y creación de modelos basados en Deep learning.

        Estas sesiones se realizan fundamentalmente en los laboratorios de prácticas.

        Relacionado con:
        • Tema 1: INTRODUCCIÓN AL DEEP LEARNING
        • Tema 2: INTRODUCCIÓN AL PROCESAMIENTO DEL LENGUAJE NATURAL
        • Tema 3: INGENIERÍA DE APLICACIONES DE IA BASADAS EN PROCESAMIENTO DEL LENGUAJE NATURAL

      • Práctica 3: P3 - Desarrollo de una aplicación de prócesamiento del lenguaje natural

        Se realizará el desarrollo de un proyecto basado en tecnologías de procesamiento del lenguaje natural alrededor de un caso de estudio propuesto en la asignatura.

        Relacionado con:
        • Tema 2: INTRODUCCIÓN AL PROCESAMIENTO DEL LENGUAJE NATURAL
        • Tema 3: INGENIERÍA DE APLICACIONES DE IA BASADAS EN PROCESAMIENTO DEL LENGUAJE NATURAL

  5. Actividades Formativas

    6. Actividad Formativa Metodología Horas Presencialidad Interacción
    AF1: Sesiones virtuales sincrónicas de teoría

    MD1. Lección magistral

    		 16.0 0.0 100.0
    AF2: Seminarios especializados virtuales sincrónicos

    MD1. Lección magistral

    		 4.0 0.0 100.0
    AF3: Sesiones virtuales sincrónicas de laboratorio

    MD2. Aprendizaje basado en problemas

    MD3. Aprendizaje basado en proyectos

    		 24.0 0.0 100.0
    AF5: Trabajo autónomo del alumno

    MD2. Aprendizaje basado en problemas

    MD3. Aprendizaje basado en proyectos

    		 102.0 0.0 0.0
    AF6: Tutorías formativas virtuales Individualizadas y en grupo

    MD1. Lección magistral

    MD2. Aprendizaje basado en problemas

    MD3. Aprendizaje basado en proyectos

    		 4.0 0.0 100.0
    Totales 150.0

  6. Horario de la asignatura

    7. No constan

  7. Sistemas de Evaluación

    8. Identificador Denominación del instrumento de evaluación Criterios de Valoración Ponderación
    SE1 Informe técnico de prácticas de laboratorio 80.0
    SE2 Entrevista personal o grupal 10.0
    SE4 Seguimiento académico 10.0

    Resultados del Aprendizaje

    • R6 (Conocimientos o contenidos): Identificar el contexto del procesamiento de lenguaje natural en la inteligencia artificial, desde un punto de vista histórico y en la actualidad.
    • R7 (Destrezas): Aplicar los conocimientos básicos de deep learning relativos al procesamiento del lenguaje natural desde un punto de vista teórico-práctico en el desarrollo de aplicaciones de inteligencia artificial.
    • R8 (Conocimientos o contenidos): Diseñar, implementar, evaluar, comparar y validar algoritmos y aplicaciones de inteligencia artificial basadas en procesamiento del lenguaje natural.

  8. Bibliografía

  9. Observaciones

    10. USO DE LA IA: Todos los recursos y materiales no originales que se utilicen en los ejercicios evaluables, incluyendo herramientas de Inteligencia Artificial, ayuda de compañeros, recursos de internet, libros, artículos, etc. deberán referenciarse claramente en el código fuente y la documentación asociada a los ejercicios prácticos entregados.

    La asignatura está sujeta a evaluación continua y podrá superarse de acuerdo con los criterios de valoración y ponderaciones descritas en el apartado "Sistemas de Evaluación" de esta guía docente.

    La calificación final será la siguiente:

    Calificación final = 0.8·SE1 + 0.1·SE2 + 0.1·SE4

    donde SE1 es la calificación media obtenida con los informes técnicos de prácticas de laboratorio correspondientes a los proyectos presentados, SE2 es la calificación obtenida con la entrevista personal o grupal, en su caso, y SE4 es la calificación obtenida mediante el seguimiento académico. Todas las pruebas SE1, SE2 y SE4 serán valoradas entre 0 y 10 puntos.

    La calificación final obtenida por evaluación continua será la calificación del estudiante en la convocatoria de diciembre-enero . En otro caso, un estudiante podrá superar la asignatura en la convocatoria de diciembre-enero si cumple las condiciones del artículo 8.6 del Reglamento de Evaluación de Estudiantes (REVA), siendo su calificación final de 0.8·SE1 + 0.2·SE2.

    Los estudiantes que no superen la asignatura en la convocatoria de diciembre-enero podrán superar la asignatura en una convocatoria posterior presentándose a las pruebas no superadas en la convocatoria anterior. La calificación de las pruebas superadas en una convocatoria se conservará a las siguientes convocatorias, hasta la convocatoria de junio-julio inclusive.

    Se obtendrá la calificación “No presentado” en las convocatorias de mayo-junio, junio-julio o diciembre-enero cuando el estudiante no haya realizado ninguna de las pruebas de evaluación en la convocatoria correspondiente.

    Esta asignatura no se encuentra vinculada de forma directa con los Objetivos de Desarrollo Sostenible.

    NECESIDADES EDUCATIVAS ESPECIALES

    Aquellos estudiantes con discapacidad o necesidades educativas especiales podrán dirigirse al Servicio de Atención a la Diversidad y Voluntariado (ADYV - https://www.um.es/adyv) para recibir orientación sobre un mejor aprovechamiento de su proceso formativo y, en su caso, la adopción de medidas de equiparación y de mejora para la inclusión, en virtud de la Resolución Rectoral R-358/2016. El tratamiento de la información sobre este alumnado, en cumplimiento con la LOPD, es de estricta confidencialidad.

    REGLAMENTO DE EVALUACIÓN DE ESTUDIANTES

    El artículo 8.6 del Reglamento de Evaluación de Estudiantes (REVA) prevé que "salvo en el caso de actividades definidas como obligatorias en la guía docente, si el o la estudiante no puede seguir el proceso de evaluación continua por circunstancias sobrevenidas debidamente justificadas, tendrá derecho a realizar una prueba global".

    Se recuerda asimismo que el artículo 22.1 del Reglamento de Evaluación de Estudiantes (REVA) estipula que "el o la estudiante que se valga de conductas fraudulentas, incluida la indebida atribución de identidad o autoría, o esté en posesión de medios o instrumentos que faciliten dichas conductas, obtendrá la calificación de cero en el procedimiento de evaluación y, en su caso, podrá ser objeto de sanción, previa apertura de expediente disciplinario".