L'interès pel desenvolupament d'aplicacions amb robots submarins autònoms (AUV) ha crescut de forma considerable en els últims temps. Aquest tipus de robots són atractius per les seves dimensions reduïdes i pel fet que no necessiten un operador humà per al seu pilotatge. Tot i això, és impossible comparar, en termes d'eficiència i flexibilitat, l'habilitat d'una persona amb les escasses capacitats operatives que ofereixen els AUVs actuals.

La utilització de robots submarins autònoms per cobrir grans àrees implica resoldre problemes complexos, especialment si es desitja que l’autòmat reaccioni en temps real a canvis sobtats en les condicions de treball. Per aquestes raons, el desenvolupament de sistemes de control autònom amb l'objectiu de millorar aquestes capacitats ha esdevingut una prioritat.
 

La presa de decisions
En la seva tesi doctoral, l’investigador del grup de recerca VICOROB, Andrés El-Fakdi, tracta el problema de la presa de decisions utilizant AUVs. El treball se centra en l'estudi, disseny i aplicació de comportaments per a AUVs utilitzant tècniques d'aprenentatge per reforç (RL). La contribució principal de l’investigador consisteix en l'aplicació de diverses tècniques de RL per tal de millorar l'autonomia dels robots submarins, amb l'objectiu final de demostrar la viabilitat d'aquests algoritmes per aprendre tasques submarines autònomes en temps real.

Amb aquestes tècniques, el robot intenta maximitzar un reforç escalar obtingut com a conseqüència de la seva interacció amb l'entorn. L'objectiu és trobar una política òptima que relaciona tots els estats possibles amb les accions a executar per a cada estat que maximitzen la suma de reforços totals.

Així, aquesta tesi investiga principalment dues tipologies d'algoritmes basats en RL: mètodes basats en funcions de valor (VF) i mètodes basats en el gradient (PG). Els resultats experimentals finals mostren el robot submarí Ictineu en una tasca autònoma real de seguiment de cables submarins. Per portar-la a terme, s'ha dissenyat un algoritme anomenat mètode d'Actor i Crític (AC), fruit de la fusió de mètodes VF amb tècniques de PG.

Andrés El-Fakdi (Girona, 1978) és investigador de la Universitat de Girona i s’ha doctorat amb la tesi titulada Gradient based RL techniques for underwater robotics behavior learning, la qual ha estat dirigida pel Dr. Marc Carreras.

Podeu consultar la tesi d’Andrés El-Fakdi a http://eia.udg.edu/~aelfakdi/papers/Andres_Thesis2011.pdf