Les Jornades van iniciar-se amb la benvinguda institucional de la directora general de Migracions, Refugi i Antiracisme de la Generalitat de Catalunya, Eunice Romero, i de la secretària general de la Universitat de Girona, Cristina Sánchez Miret. Després de la benvinguda, va haver-hi una presentació de posició sobre el tema per part de la investigadora Sofia Trejo del BSC, qui va reflexionar sobre els interessos i els avanços del treball feminista en relació amb la intel·ligència artificial (IA). L’objectiu d’aquesta presentació fou reflexionar obertament sobre alguns dels principals problemes actuals i la posició dels feminismes en els aspectes tècnics de la IA, de les narratives preponderants, en les cadenes de producció i en el sosteniment a la vida en general. Així doncs, en aquesta primera part, es va parlar de com la tècnica dominant per a la creació de sistemes basats en IA, tendeix a impactar negativament a grups der persones discriminats històricament, particularment a les dones, i a les minories. En aquest sentit, es va proporcionar una panoràmica sobre la relació entre aquestes noves formes de discriminació i violència i les dades utilitzades en el disseny de les tecnologies d’IA, les quals tendeixen a reproduir una visió molt reduïda de la societat (patriarcal i occidental). També es van abordar les narratives hegemòniques del desenvolupament tecnològic des d'una visió crítica feminista, que qüestiona la racionalitat tecno-científica així com la universalitat i objectivitat des d’uns cànons i posicionaments dominants (ditto), donant importància a l'experiència situada i al context. En la presentació realitzada per la investigadora Sofia Trejo es van abordar algunes de les importants aportacions del treball feminista relacionades amb la IA, com redefinir el focus d'interès de les consideracions ètiques al voltant de la IA (per exemple, no tan sols la seguretat sinó també la sostenibilitat), de futurs especulatius sobre la Superinteligencia Artificial o la Singularitat, sobre l’impacte de la IA en els cossos de les persones i d'altres éssers vius així com de diversos territoris (particularment aquells situats al Sud Global), degut a unes cadenes de producció d'aquesta tecnologia que, com moltes anteriors, es basen en l'explotació massiva dels recursos (el triangle del liti entre l'Argentina, Xile i Bolívia és un bon exemple però, sens dubte, no és l'únic). Així doncs, en aquesta primera part, es van presentar alguns impactes ambientals del desenvolupament de la IA i es va subratllar la importància de lligar el treball feminista sobre IA amb el sosteniment a la vida del planeta.

Després de la presentació inicial es va dur a terme una dinàmica grupal de discussió utilitzant l'Oracle de Tecnologies Transfeministes de Coding Rights amb l’objectiu d’imaginar on s'utilitza o es pot utilitzar a les diferents tecnologies d'IA des d'una perspectiva d’IA feminista. Per a aquesta activitat, les participants van ser dividides en quatre equips. Cada equip va utilitzar les cartes de l'Oracle de Coding Rights per contextualitzar una situació, els valors i el lloc on caldria realitzar propostes de base i el disseny de tecnologies diverses, incloent-hi d’IA però sempre alineada amb una perspectiva feminista, o sigui, tenint en compte la naturalesa de la desigualtat de gènere, examinant els rols, les experiències i els interessos socials de les dones així com d'altres col·lectius vulnerables.

A continuació es fa un resum dels equips que es van conformar amb les característiques de les cartes i les tecnologies desenvolupades durant el taller.

Equip 1

En aquest cas, l'equip va proposar desenvolupar una plataforma digital (xarxa sociodigital) que permetés a qualsevol col·lectiu mantenir el seu anonimat en la xarxa, particularment amb un èmfasi en aquelles persones omprimides o que pateixen violències en línia. La tecnologia proposada implementaria un sistema d’IA per a verificar, analitzar i avaluar patrons que perpetren abús, com a discurs d'odi o discriminació, també mitjançant ciberbullying, utilitzant tècniques d'anàlisis de textos en línia, entre altres. El sistema de verificació consistiria en un “checkmark” o marca de verificació al qual se li assignaria un color de la bandera LGTBIQ+. Cada color estaria associat a una dimensió social específica que s'avaluaria segons el compliment dels requisits corresponents. Si l'avaluació fos favorable es desplegaria en el perfil el “checkmark” del color corresponent. Aquest sistema permetria a les persones usuàries tenir perfils anònims però certificats. No obstant això, per a contrarestar problemàtiques derivades de l'anonimat en línia, com l'assetjament o la violència, els perfils podrien ser reidentificats en cas de denúncia o detecció de comportaments no acceptats per la plataforma. Una tecnologia blockchain seria utilitzada per a mantenir la traçabilitat dels perfils d'una manera transparent i segura. Aquest darrer punt fou important ja que un dels primers temes discutits va ser a qui se li volia garantir l'anonimat: a homes o a dones o a qui? A agressors o a víctimes? Un altre problema que es va debatre va ser la traçabilitat de la persona agressora, que es veu compromesa si el perfil és anònim. Després de plantejar aquestes qüestions, va sorgir la idea de desenvolupar un sistema d’IA que permetés verificar i avaluar als usuaris anònims en funció del seu comportament cap a altres persones.

Equip 2

En aquest segon cas, l'equip va proposar la creació d'una tecnologia que es basés en el principi de simplicitat i d'accés universal, de co-creació i amb èmfasi en la protecció de les minories (amb un accés limitat). El projecte se centraria en una tecnologia d'arquitectura oberta i descentralitzada per a garantir la sobirania tecnològica i no pas la dependència en una plataforma comercial de les persones que es volen associar. Les funcionalitats de la tecnologia s'enfocarien a permetre un accés universal a la informació, a facilitar la comunicació entre comunitats, moviments socials i la ciutadania en general i, també a identificar patrons o discursos d'odi mitjançant l'ús de la IA. Les principals reflexions durant aquesta activitat van ser la importància de creació d'espais de seguretat per a la comunicació en línia de la ciutadanía en general i la idea d'utilitzar la tecnologia per a reconnectar diferents parts de la societat amb la finalitat de contribuir a la creació de comunitat. Per a crear una tecnologia descentralitzada, es va discutir sobre tenir el control sobre els servidors (l'anomenat núvol) i una sobirania total i ciutadana sobre l'eina. La discussió també va incloure la viabilitat de detectar els interessos de diversos actors a través de la mateixa tecnologia descentralitzada.

Equip 3

El tercer grup va proposar desenvolupar una avaluació d'impacte transfeminista per a sistemes d'IA, enfocada a analitzar les cadenes de producció dels desenvolupaments tecnològics de la IA des d'una perspectiva global, tenint en compte els seus impactes en els cossos i en els territoris d'arreu del món, amb un èmfasi en el Sur Global. L'avaluació prendria en consideració la procedència dels recursos i materials, els territoris afectats, la recollida de dades, els drets laborals, així com els problemes de discriminació o els possibles biaixos presents en els sistemes d'IA. Aquest grup va considerar algunes característiques importants per al disseny de l'eina d’avaluació, amb el propòsit d'incloure puntuacions que tinguessin en compte el següent: una visió de “slow tech”, una perspectiva de cures, sense fins de lucre, no escalable, no disponible 24/7 i amb una interfície senzilla o minimalista. Aquesta avaluació d'impacte seria de caràcter obligatori per a les organitzacions públiques i privades, cosa que significa que aquells que no complissin els requisits haurien de modificar els seus paràmetres d'actuació i alhora retribuir als qui es vegin afectats per les seves accions negatives, especificant un possible règim de justícia restaurativa. Durant l'activitat es va discutir sobre les polítiques de cooperació entre el Nord i el Sud Global i els problemes que això comporta en l'actualitat en termes de desequilibris tecnològics en l'ús i abús de la IA, en gran part degut a una repartició injusta de la riquesa. Per a allunyar-se d'aquestes dinàmiques es va explorar com desenvolupar tecnologies d'IA no extractivistes. També es van abordar problemes associats amb l'etiquetatge de les dades usades per a fer anar sistemes d'IA i la seva relació amb processos com l'homogeneïtzació de les societats i la discriminació de les persones i territoris, especialment al Sur Global. A més es va emfatitzar la importància de la sostenibilitat en temes relacionats amb IA, posant particular atenció a la procedència dels materials i els recursos. Així mateix, es van reconèixer els límits i perills de la IA des d'una perspectiva tant ambiental com social.

Equip 4

El propòsit d’aquest quart equip, amb el nom de “Memòria”, fou el de documentar la memòria ancestral amb l'ajuda de la IA. L'objectiu proposat fou el de poder representar tot allò que no és explícit i ha estat construït al llarg del temps. Per a desenvolupar l'eina es duria a terme una mapatge d'arxius i una identificació d'absències dins d'aquests. Per a atendre les absències, es durien a terme entrevistes de camp per a cobrir les zones d'on no es tinguessin dades. Les entrevistes serien realitzades a persones vives amb l'assistència d'IA. A més de la recopilació de sabers, la IA també seria utilitzada per a analitzar les entrevistes i identificar conceptes o patrons generalment poc representats. Aquest grup també va considerar que la IA també podria ser utilitzada per a detectar mancances o aspectes a ser inclosos en la memòria mitjançant una anàlisi d'arxius. En les reflexions compartides, es va emfatitzar la necessitat de realitzar entrevistes de camp per a obtenir la perspectiva de totes les dones d'arreu del territori. Es va posar l'accent en la importància de comptar amb un grup multidisciplinari i dur a terme un estudi previ per a seleccionar adequadament a les persones involucrades, assegurant així que les entrevistes fossin representatives. Aquest grup va discutir la viabilitat de realitzar entrevistes sense guió, en alguns casos assistides per IA, amb l'objectiu d'obtenir informació d'una manera més natural. A partir dels vídeos i documents obtinguts, el grup va considerar que la IA elaboraria un resum per a identificar patrons significatius. Un altre dels temes que es va debatre va ser l'escalabilitat d'aquest enfocament, especialment pel que fa a la quantitat de persones necessàries per a dur a terme les entrevistes. En aquest sentit, va sorgir la idea que la IA podria ser una solució per a agilitzar aquest procés d'entrevistes i fer-lo més eficient, si bé això últim també va generar alguns dubtes.

Com a conclusió d’aquesta part de la Jornada, podem dir que la dinàmica grupal va permetre reflexionar obertament sobre diferents situacions, valors i lloc a través d'una reunió de persones i grups amb diferents experiències i punts de vista sobre el feminisme i la IA. Per tant, aquesta dinàmica va enriquir les discussions i va proporcionar una comprensió més completa dels problemes i de les possibles solucions. També va permetre realitzar una retroalimentació immediata de les idees compartides, facilitant la clarificació de conceptes i l'exploració de nous temes que van sorgir durant la discussió així com àrees clau que requereixen atenció i, en molts casos, una acció urgent (violència, explotació, discriminació, estigmatització, etc.). No menys important va ser el poder comprovar que els grups de discussió permeten tenir en compte la sensibilitat cultural i contextual en la discussió de qüestions relacionades amb el feminisme i la IA. Això és i fou important per a adaptar estratègies i polítiques a diferents contextos. Finalment, es va poder constatar com la participació en grups de discussió té la capacitat d'empoderar a les persones que hi participen i fer que se sentin part d'un procés de canvi com és la participació activa en la promoció de la igualtat de gènere en la IA.

L'esdeveniment va tancar amb una posada en comú de les reflexions generades durant les activitats prèvies. Aquesta dinàmica va comptar amb la participació activa de tres convidades (panelistes) que van ser: l'Atia Cortés (BSC), la Judith Membrives (Lafede) i la Lourdes Muñoz Santamaría (OpenData BCN). Aquesta posada en comú va abordar els problemes i les limitacions dels marcs existents per a la governança de la IA (com els principis ètics de la IA) i de les bretxes per a la seva implementació. Es va reconèixer que, encara que existeixen múltiples marcs, falten eines per a portar-los a la pràctica i per a traduir-los en estratègies i accions concretes. Es va parlar de la importància que aquests processos siguin desenvolupats de manera inclusiva, promovent la co-creació i la pluralitat de perspectives. Dins dels marcs de governança de IA es va reflexionar sobre l'enfocament europeu (particularment la EU AI Act), que es veu ancorada a classificar i regular els sistemes de IA prenent com a criteri central el risc. Respecte a aquest marc europeu, es va comentar que un dels seus objectius principals és fomentar l'acceptació d'aquesta tecnologia a Europa i que té un enfocament de cap a consumidors o persones usuàries, no cap a ciutadans i menys cap als més vulnerables com podrien ser les dones. Respecte al procés d'acceptació (o no), les participants van esmentar que és fonamental que aquest estigui sustentat en l'enteniment no sols dels riscos, sinó dels  impactes socials i ambientals d'aquesta tecnologia. En aquest sentit, es va considerar essencial que aquest tipus de treball inclogui diverses perspectives, particularment aquelles provinents del Sud Global, i que tingui en compte les diferències culturals, econòmiques i socials. Conjuminant en els temes, es va esmentar que el marc Europeu no aborda adequadament la justícia social, ja que no inclou mecanismes per a reparar danys històrics (com la pèrdua de territori indígena) i que això ha de canviar. Dins d’aquest debat, es va emfatitzar que és essencial comptar amb reglaments ben dissenyats, però que aquests seran insuficients si no s'aborden les desigualtats socials existents a escala global. També es va destacar que reglaments com la EU AI Act, tendeixen a afavorir a les grans empreses que compten amb recursos legals i tecnològics, mentre que les empreses petites, mitjanes i start-ups podrien tenir dificultats per a complir el reglament sense una despesa significativa.

Finalment, es va tornar a posar l'accent en la necessitat d'augmentar la participació de les dones en els equips de desenvolupament i en el procés de presa de decisions en l'àmbit de la IA. També es va destacar la importància de la participació ciutadana dins d'aquests processos, especialment de les persones i col·lectius més destinataris d'aquetes tecnologies com són els grups vulnerables. En aquest sentit, es va proposar que per a democratitzar l'ús de la tecnologia i aconseguir una IA més inclusiva, és necessari promoure la col·laboració interdisciplinària i valorar la diversitat en els equips de desenvolupament. Tot això tenint en compte que les bones pràctiques no són justificació suficient per a la implementació d'aquesta tecnologia, reconeixent que la IA no pot considerar-se la solució per a tots els problemes i que cal una avaluació menys accelerada i pausada d'on, com i quan s'ha d'utilitzar IA. És per això que es va conclure que, encara que pot oferir beneficis significatius, ha de ser abordada amb realisme i reconèixer les seves limitacions.

Persones assistents (ordre alfabètic):

Alicia de Manuel

Anna Arias

Atia Cortés

Cristina Sánchez Miret

Eunice Romero

Judith Membrives

Karina Gibert

Laia Serra

Lourdes Muñoz Santamaría

Lucía Urcelay

Marta Garcia-Gasulla

Merce Crosas

Nataly Buslón

Núria Vallès

Patricia Melgar

Silvia Sauquet Cisa

Sofía Trejo

Comitè Organitzador

Sofía Trejo -  - Barcelona Supercomputing Centre

Albert Sabater - Universitat de Girona

Ulises Cortés - Barcelona Supercomputing Centre

Karina Gibert - Universitat Politècnica de Catalunya