Professors Docents
1 Assolir un coneixement bàsic de les tècniques tradicionals de processat del llenguatge
2 Entendre el funcionament i possibilitats dels embeddings i dels transformers
3 Coneixement dels principals escenaris d'aplicació de la intel·ligència artificial generativa
4 Coneixement de les tecnologies més adequades del mercat per analítica de dades no-estructurades.
5 Coneixement de les possibilitats de la IAG en el procés d'imatge i vídeo.
1. Introducció a les dades no estructurades. Aquesta sessió ofereix una visió general del curs.
2. Anàlisi de co-ocurrències, visualització de dades d'alta dimensionalitat amb PCA. En aquesta sessió, la freqüència i els patrons d'elements aparellats (per exemple, paraules clau i codis dins d'un conjunt de dades) son analitzats per revelar associacions i relacions estructurals entre els components de les dades. Aquesta sessió també cobreix projeccions de conjunts de dades multi-característiques en espais de baixa dimensionalitat, permetent una interpretació més clara de l'estructura de dades i la variància en dues o tres dimensions.
3. PCA (cont.), aprenentatge de varietats. En aquesta sessió s'analitza una família d'algoritmes no lineals per descobrir estructures de baixa dimensionalitat incrustades dins de dades d'alta dimensionalitat, preservant les relacions geomètriques intrínseques per revelar patrons complexos.
4. Agrupació en clústers, k-means, models de mescles gaussianes. Aquesta sessió se centra en l'algoritme de agrupació en clústers no supervisat que divideix les dades en un nombre predefinit de clústers i, posteriorment, s'amplia modelant les dades com una combinació de múltiples distribucions gaussianes.
5. Agrupació en clústers (cont.): interpretació de GMM, selecció automàtica del nombre de clústers. En aquesta sessió, la selecció automàtica del recompte de clústers s'aconsegueix mitjançant criteris basats en la probabilitat (per exemple, criteris d'informació bayesiana), que equilibren l'ajust del model amb la complexitat.Revisiò de les dades no estructurades. La sessió repassa els principals reptes en la gestió de les dades no estructurades, específicament aquelles relacionades amb el llenguatge o les imatges, la seva prevalença en escenaris del món real i la importància de les tècniques analítiques per a l'extracció de coneixements rellevants. També s'analitzen la teoria de la neurociència i els conceptes fonamentals, les passes comunes de preprocessament i les eines habituals per gestionar dades no estructurades.
6. NLP basat en regles. Aquesta sessió es centra en els mètodes de NLP que utilitzen regles i patrons per analitzar i processar text. S'inclouen les tècniques més essencials, com la tokenització, el tagging de les Part of Speech, el reconeixement dentitats mencionades (named entities) i el parsing sintàctic. Mitjançant exemples, els estudiants aprenen els avantatges i limitacions de l'ús de regles en NLP i el seu paper en aplicacions específiques o com a complement dels models basats en dades.
7. Xarxes neuronals. Aquesta sessió té com a objectiu refrescar els coneixements adquirits pels estudiants sobre xarxes neuronals i preparar-los per a temes avançats de PNL i aprenentatge profund. Es revisaran els fonaments de les xarxes neuronals i conceptes clau com els perceptrons, les funcions d'activació, el backpropagation i arquitectures com xarxes feed-forward, convolucionals i/o recurrents.
8. NLP i Deep learning. Aquesta sessió cobrirà la representació numèrica del text per al machine learning. Es presentaran els embeddings de paraules com Word2Vec, GloVe i també embeddings contextuals de models com el BERT. Els estudiants aprendran com les tècniques de vectorització poden capturar les relacions semàntiques i la informació contextual, cosa que permetrà una comprensió i un modelatge del llenguatge molt sofisticats.
9. Embeddings i vectorització. Aquesta sessió cobrirà la representació numèrica del text per al machine learning. Es presentaran els embeddings de paraules com Word2Vec, GloVe i també embeddings contextuals de models com el BERT. Els estudiants aprendran com les tècniques de vectorització poden capturar les relacions semàntiques i la informació contextual, cosa que permetrà una comprensió i un modelatge del llenguatge molt sofisticats.
10. Transformers i IA generativa. En aquesta sessió s'explorarà l'evolució dels transformers. Es tractaran conceptes com la self-attention, els mecanismes d'atenció multi-head i l'arquitectura estàndard dels transformers per entendre com funciona un transformador. També es presentaran models com el BERT, el GPT i altres exemples.
11. Aplicacions de negoci amb la IA generativa. Aquesta sessió se centra en les aplicacions pràctiques de la IA generativa en el món empresarial. Es presenten casos i escenaris que demostren com la IA pot millorar les experiències dels clients, optimitzar els fluxos de treball i permetre solucions innovadores. També s'analitzen consideracions ètiques, reptes i millors pràctiques per implementar sistemes d'IA generativa en escenaris del món real. En aquesta sessió també es tractaran els RAG i els agentic-RAGs.
12. Processat d'imatge. Des de les CNN fins els Transformers. Aquesta és la sessió de cloenda del mòdul i cobreix els conceptes bàsics del processament dimatges, començant amb les xarxes neuronals convolucionals (CNN) i el seu paper en tasques com la classificació d'imatges i la detecció d'objectes. Es tracta la transició cap a arquitectures basades en transformers en visió per computador, i es mostra com aquests models han superat les CNN tradicionals en tasques que requereixen comprensió contextual. La segona part de la sessió quedarà reservada per a l'examen final.
L'assignatura es dóna en una sessió setmanal amb dues parts. La primera part es dedicarà a la introducció de la matèria d'una forma descriptiva així com l'explicació teòrica o conceptual dels aspectes que requereixin una justificació matemàtica o computacional. La segona serà una part pràctica, dedicada a veure la matèria en forma de demostracions o pràctiques que permetin assimilar i entendre la seva utilitat i escenaris d'aplicació.
Treball a classe i assistència 30%
Resolució de problemes 35%
Examen - Final 35%
Els criteris d'avaluació s'apliquen a tots els alumnes, els repetidors hauran d'assistir a classe. Qualsevol situació excepcional ha de ser comunicada prèviament als professors i validada pel tutor.
L'assignatura estarà aprovada si el còmput global de la nota és superior a 5.
RETAKE POLICY
El Retake consistirà en un examen que inclou tot el contingut de l'assignatura.
La nota final màxima possible serà de 6 punts.
Jurafsky, D., & Martin, J. H. (2022). Speech and Language Processing
Bird, S., Klein, E., & Loper, E. (2009). Natural Language Processing with Python: Analyzing Text with the Natural Language Toolkit.
Vaswani, A., et al. (2017). Attention Is All You Need.
L. Tunstall, L.Von Werra & T.Wolf (2022). Natural Language Processing with Transformers: Building Language Applications with HuggingFace.