Anar al contingut (clic a Intro)
UdG Home UdG Home
Tancar
Menú

Estudia

Dades generals

Curs acadèmic:
2023
Descripció:
S'introduirà el concepte d'aprenentatge per reforç. S'estudiaran els mètodes lliures de model així com els aproximadors de funcions. S'introduiran els principals algorismes d'aprenentatge per reforç profund (DRL). També es veuran tècniques de policy search i de mostreig efficient. A la part final del curs, s'introduiran temes més avançats relacionats amb l'aprenentatge per reforç i els estudiants realitzaran un treball sobre un d'ells. Les sessions teòriques aniran acompanyades de pràctiques guiades.
Crèdits:
6

Grups

Grup A

Durada:
Semestral, 1r semestre
Professorat:
Marc Carreras Perez  / Pedro Ridao Rodriguez  / Joaquin Salvi Mas
Idioma de les classes:
Anglès (100%)

Competències

  • CG3- Comunicar-se de manera efectiva oralment i per escrit preparant documents i exposant projectes i resultats amb llengua anglesa
  • CG5- Recollir i seleccionar informació per poder avaluar l'estat de l'art d'un tema o matèria específica
  • CG6- Treballar en equips multidisciplinaris, establint aquelles relacions que més poden ajudar a fer aflorar potencialitats de cooperació i mantenir-les de manera continuada
  • CB6- Posseir i comprendre coneixements que aportin una base o oportunitat de ser originals en el desenvolupament i/o aplicació d'idees, sovint en un context d'investigació
  • CB7- Que els estudiants sàpiguen aplicar els coneixements adquirits i la seva capacitat de resolució de problemes en entorns nous o poc coneguts dins de contextos més amplis relacionats amb la seva àrea d'estudi
  • CB10- Que els estudiants tinguin les habilitats d'aprenentatge que els permetin continuar estudiant d'una manera que haurà de ser en gran manera autodirigida o autònoma
  • CE1- Programar, a nivell avançat, en els llenguatges i llibreries més utilitzats en la robòtica de camp intel·ligent
  • CE2- Analitzar un problema relacionat amb sistemes autònoms intel·ligents i identificar les tècniques i les eines apropiades per resoldre'l
  • CE3- Entendre, desenvolupar, modificar i aplicar de manera efectiva mètodes d'aprenentatge automàtic
  • CE5- Conèixer, entendre i ser capaç d'aplicar els algoritmes que permeten als vehicles autònoms localitzar-se i navegar de forma efectiva
  • CE8- Comprendre els fonaments matemàtics dels algorismes utilitzats en els sistemes robòtics intel·ligents

Continguts

1. Intro to RL

2. Free Model Algorithms

3. Function Approximation

4. Deep Reinforcement Learning

5. Policy Search

6. Sample Efficiency

7. Advanced RL topics

Activitats

Tipus d’activitat Hores amb professor Hores sense professor Hores virtuals amb professor Total
Anàlisi / estudi de casos 10,00 17,00 0 27,00
Prova d'avaluació 2,00 8,00 0 10,00
Sessió expositiva 18,00 20,00 0 38,00
Sessió pràctica 30,00 45,00 0 75,00
Total 60,00 90,00 0 150

Bibliografia

  • Sutton and Barton (2018). An Introduction to Reinforcement Learning, 2nd Edition. MIT Press.
  • Miguel Morales (2020). Grokking Deep Reinforcement Learning. Manning.

Avaluació i qualificació

Activitats d'avaluació:

Descripció de l'activitat Avaluació de l'activitat % Recuperable
Tests Test about basic RL contents 20 No
Laboratories Lab attendance and delivery 30 No
Research Project Develop a research project about and advanced RL topic 50

Qualificació

The evaluation will take into account the work done in the laboratory (30%), a research project (50%) and a quiz (20%).

Criteris específics de la nota «No Presentat»:
To not participate in any activity.

Avaluació única:
The students will demonstrate their practical knowledge in the laboratory and pass an exam containing all theoretical and practical contents.

Requisits mínims per aprovar:
A grade equal or greater than 5 must be obtained in the equation 0.2*test + 0.3*laboratories + 0.5*project

Tutoria

Student must send an email to the professor for organizing a meeting in which whatever issue will be addressed.

Comunicacio i interacció amb l'estudiantat

All activities will be organized with Moodle. The students and professors will communicate by email.

Escull quins tipus de galetes acceptes que el web de la Universitat de Girona pugui guardar en el teu navegador.

Les imprescindibles per facilitar la vostra connexió. No hi ha opció d'inhabilitar-les, atès que són les necessàries pel funcionament del lloc web.

Permeten recordar les vostres opcions (per exemple llengua o regió des de la qual accediu), per tal de proporcionar-vos serveis avançats.

Proporcionen informació estadística i permeten millorar els serveis. Utilitzem cookies de Google Analytics que podeu desactivar instal·lant-vos aquest plugin.

Per a oferir continguts publicitaris relacionats amb els interessos de l'usuari, bé directament, bé per mitjà de tercers (“adservers”). Cal activar-les si vols veure els vídeos de Youtube incrustats en el web de la Universitat de Girona.