{"id":2333,"date":"2024-03-07T14:44:50","date_gmt":"2024-03-07T12:44:50","guid":{"rendered":"https:\/\/itgespub.net\/?p=2333"},"modified":"2024-03-07T14:44:51","modified_gmt":"2024-03-07T12:44:51","slug":"presentacion-de-informe-sobre-metodos-y-herramientas-para-la-evaluacion-de-algoritmos","status":"publish","type":"post","link":"https:\/\/itgespub.net\/en\/presentacion-de-informe-sobre-metodos-y-herramientas-para-la-evaluacion-de-algoritmos\/","title":{"rendered":"Presentaci\u00f3n de informe sobre m\u00e9todos y herramientas para la evaluaci\u00f3n de algoritmos"},"content":{"rendered":"<p>El 29 de febrero, durante el <a href=\"https:\/\/www.mwcbarcelona.com\/\" target=\"_blank\" rel=\"noreferrer noopener\">Mobile World Congress 2024<\/a>, se present\u00f3 el <a href=\"https:\/\/digitalfuturesociety.com\/app\/uploads\/2024\/02\/Towards-accountable-algorithms_esp.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">informe<\/a><strong> <em>Hacia un uso responsable de los algoritmos: m\u00e9todos y herramientas para su auditor\u00eda y evaluaci\u00f3n<\/em><\/strong>, publicado por <a href=\"https:\/\/digitalfuturesociety.com\/about-us\/\" target=\"_blank\" rel=\"noreferrer noopener\">Digital Future Society<\/a> y elaborado por J. Ignacio Criado y Ariana Guevara-G\u00f3mez, miembros del <a href=\"https:\/\/itgespub.net\/en\/equipo\/\" target=\"_blank\" rel=\"noreferrer noopener\">equipo<\/a> del Lab IT_GesPub.\u00a0<\/p>\n\n\n\n<p>La presentaci\u00f3n form\u00f3 parte de la jornada titulada <a href=\"https:\/\/m4social.org\/es\/29-f-ia-i-drets-socials-al-mwc-24\/\" target=\"_blank\" rel=\"noreferrer noopener\"><em>Inteligencia Artificial y derechos sociales: riesgos y oportunidades<\/em><\/a>, que se desarroll\u00f3 en el espacio de la Fundaci\u00f3n Mobile World Capital Barcelona, y que fue organizada por la <a href=\"https:\/\/www.tercersector.cat\/es\" target=\"_blank\" rel=\"noreferrer noopener\">Taula d\u2019entitats del Tercer Sector Social de Catalunya<\/a> en colaboraci\u00f3n con la <a href=\"https:\/\/www.esn-eu.org\/\" target=\"_blank\" rel=\"noreferrer noopener\">European Social Network<\/a>. Esta actividad sirvi\u00f3 de punto de encuentro para reflexionar sobre el potencial que tiene la IA para beneficiar a la poblaci\u00f3n, pero tambi\u00e9n sobre los riesgos de exclusi\u00f3n y desigualdad a los que debe prestarse atenci\u00f3n.\u00a0<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-twitter wp-block-embed-twitter\"><div class=\"wp-block-embed__wrapper\">\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\"><p lang=\"es\" dir=\"ltr\">\ud83d\udcca Momento de presentar el informe &quot;Hacia un uso responsable de los algoritmos: m\u00e9todos y herramientas para su auditor\u00eda y evaluaci\u00f3n&quot; desarrollado por <a href=\"https:\/\/twitter.com\/jicriado?ref_src=twsrc%5Etfw\">@jicriado<\/a> y <a href=\"https:\/\/twitter.com\/ArianaGuevaraG?ref_src=twsrc%5Etfw\">@ArianaGuevaraG<\/a> de <a href=\"https:\/\/twitter.com\/IT_GesPub?ref_src=twsrc%5Etfw\">@IT_GesPub<\/a> junto a nuestro programa <a href=\"https:\/\/twitter.com\/DFS_MWC?ref_src=twsrc%5Etfw\">@DFS_MWC<\/a>.<br><br>\ud83d\udccc Informe completo \ud83d\udc49\ud83c\udffb<a href=\"https:\/\/t.co\/mLarA6sbNU\">https:\/\/t.co\/mLarA6sbNU<\/a>\u2026 <a href=\"https:\/\/t.co\/5iLtqDjfOZ\">pic.twitter.com\/5iLtqDjfOZ<\/a><\/p>&mdash; Mobile World Capital Barcelona (@MWCapital) <a href=\"https:\/\/twitter.com\/MWCapital\/status\/1763256421406130404?ref_src=twsrc%5Etfw\">February 29, 2024<\/a><\/blockquote><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n<\/div><\/figure>\n\n\n\n<p>Adem\u00e1s del documento sobre auditor\u00eda y evaluaci\u00f3n algor\u00edtmica, tambi\u00e9n se present\u00f3 el <a href=\"https:\/\/m4social.org\/es\/resources\/radar-dalgoritmes-dia-i-processos-de-decisio-automatitzada-per-a-lacces-als-drets-socials-a-catalunya\/\" target=\"_blank\" rel=\"noreferrer noopener\">informe<\/a> <em>Radar de algoritmos y procesos de decisi\u00f3n automatizada para el acceso a los derechos sociales de la ciudadan\u00eda en Catalu\u00f1a<\/em>, elaborado por la Taula d\u2019entitats del Tercer Sector Social de Catalunya y KSNET. Posteriormente, se desarrollaron dos mesas redondas: una de ellas sobre los retos del uso de la IA en las administraciones p\u00fablicas, en la que tambi\u00e9n particip\u00f3 J. Ignacio Criado, director de IT_GesPub; y otra sobre el potencial de la IA para una mejor acci\u00f3n social. Durante toda la jornada hubo representaci\u00f3n de las administraciones p\u00fablicas, el tercer sector, empresas y consultoras, organizaciones internacionales y academia (se puede consultar el programa completo <a href=\"https:\/\/www.tercersector.cat\/sites\/default\/files\/2024-02\/m4social_MWC24__programa_jornada.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">aqu\u00ed<\/a>).\u00a0<\/p>\n\n\n\n<figure class=\"wp-block-embed is-type-rich is-provider-twitter wp-block-embed-twitter\"><div class=\"wp-block-embed__wrapper\">\n<blockquote class=\"twitter-tweet\" data-width=\"550\" data-dnt=\"true\"><p lang=\"ca\" dir=\"ltr\">\u2757Torn per la taula rodona: \u2018Els reptes de l\u2019\u00fas de la IA a l\u2019Administraci\u00f3 P\u00fablica\u2019<br>\u25aa\ufe0fRosa Maria Fum\u00e0s, <a href=\"https:\/\/twitter.com\/dsocialscat?ref_src=twsrc%5Etfw\">@dsocialscat<\/a> <a href=\"https:\/\/twitter.com\/gencat?ref_src=twsrc%5Etfw\">@gencat<\/a><br>\u25aa\ufe0f <a href=\"https:\/\/twitter.com\/Soniafor?ref_src=twsrc%5Etfw\">@Soniafor<\/a>, <a href=\"https:\/\/twitter.com\/bcn_ajuntament?ref_src=twsrc%5Etfw\">@bcn_ajuntament<\/a><br>\u25aa\ufe0f Jose Luis Prieto Rivera, <a href=\"https:\/\/twitter.com\/AndaluciaJunta?ref_src=twsrc%5Etfw\">@AndaluciaJunta<\/a><br>\u25aa\ufe0f <a href=\"https:\/\/twitter.com\/jicriado?ref_src=twsrc%5Etfw\">@jicriado<\/a> <a href=\"https:\/\/twitter.com\/UAM_Madrid?ref_src=twsrc%5Etfw\">@UAM_Madrid<\/a> <a href=\"https:\/\/twitter.com\/IT_GesPub?ref_src=twsrc%5Etfw\">@IT_GesPub<\/a><br><br>\ud83d\udde3\ufe0fModera: <a href=\"https:\/\/twitter.com\/A_LMontero?ref_src=twsrc%5Etfw\">@A_LMontero<\/a>, <a href=\"https:\/\/twitter.com\/ESNsocial?ref_src=twsrc%5Etfw\">@ESNsocial<\/a><a href=\"https:\/\/twitter.com\/hashtag\/MWC24?src=hash&amp;ref_src=twsrc%5Etfw\">#MWC24<\/a> <a href=\"https:\/\/t.co\/YLV8JaRy0L\">pic.twitter.com\/YLV8JaRy0L<\/a><\/p>&mdash; m4Social (@m4_social) <a href=\"https:\/\/twitter.com\/m4_social\/status\/1763174767400460383?ref_src=twsrc%5Etfw\">February 29, 2024<\/a><\/blockquote><script async src=\"https:\/\/platform.twitter.com\/widgets.js\" charset=\"utf-8\"><\/script>\n<\/div><\/figure>\n\n\n\n<h5 class=\"wp-block-heading\"><strong>Hacia una sistematizaci\u00f3n de conceptos y m\u00e9todos<\/strong><\/h5>\n\n\n\n<p>Uno de los principales aportes del informe <strong><em>Hacia un uso responsable de los algoritmos: m\u00e9todos y herramientas para su auditor\u00eda y evaluaci\u00f3n<\/em><\/strong> es el esfuerzo de sistematizaci\u00f3n de conceptos y m\u00e9todos relacionados con las evaluaciones de algoritmos. Para localizar y organizar la informaci\u00f3n que existe en torno al tema, desarrollamos una revisi\u00f3n sistem\u00e1tica de literatura, con un total de 64 art\u00edculos acad\u00e9micos y 60 documentos de literatura gris, y elaboramos 15 entrevistas semiestructuradas con especialistas internacionales en Inteligencia Artificial.\u00a0<\/p>\n\n\n\n<p>Toda esta informaci\u00f3n sirvi\u00f3 de base para la elaboraci\u00f3n de un marco conceptual sobre evaluaci\u00f3n de algoritmos. En este caso concreto, entendemos la <strong>evaluaci\u00f3n algor\u00edtmica<\/strong> como un t\u00e9rmino paraguas que abarca diferentes m\u00e9todos para analizar el comportamiento de los algoritmos y detectar problemas. No se trata de una labor eminentemente t\u00e9cnica: en funci\u00f3n de los objetivos y los recursos, las evaluaciones pueden adoptar diferentes formas y perspectivas. En este sentido, identificamos 10 <strong>dimensiones<\/strong> que permiten entender toda la variedad posible de estos <strong>procesos de evaluaci\u00f3n<\/strong>:\u00a0\u00a0<\/p>\n\n\n\n<div class=\"wp-block-group is-vertical is-layout-flex wp-container-core-group-is-layout-fe9cc265 wp-block-group-is-layout-flex\">\n<ul class=\"wp-block-list\" style=\"font-size:16px\">\n<li><strong>Foco:<\/strong> las evaluaciones pueden tener un enfoque t\u00e9cnico o m\u00e1s hol\u00edstico (es decir, que se consideran tambi\u00e9n aspectos sociales, organizativos, contextuales, etc.).\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\" style=\"font-size:16px\">\n<li><strong>Locus:<\/strong> la evaluaci\u00f3n puede desarrollarse dentro de la misma organizaci\u00f3n que implementa el sistema algor\u00edtmico o puede proponerse como un estudio externo.\u00a0<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\" style=\"font-size:16px\">\n<li><strong>Actores promotores:<\/strong> el proceso de evaluaci\u00f3n puede estar liderado por la organizaci\u00f3n implementadora del algoritmo, por una organizaci\u00f3n externa a la que se le encarga este trabajo, o por terceros que tienen completa independencia.&nbsp;<\/li>\n\n\n\n<li><strong>Rol de actores externos:<\/strong> se puede impulsar la participaci\u00f3n de usuarios\/as y personas afectadas en el proceso de evaluaci\u00f3n o se puede hacer a puerta cerrada.&nbsp;<\/li>\n\n\n\n<li><strong>Momento:<\/strong> es posible desarrollar las evaluaciones antes de la implementaci\u00f3n de los algoritmos o despu\u00e9s.&nbsp;<\/li>\n\n\n\n<li><strong>Orientaci\u00f3n hacia la normativa:<\/strong> la motivaci\u00f3n detr\u00e1s de la evaluaci\u00f3n puede derivarse del cumplimiento de una normativa, del inter\u00e9s por desarrollar buenas pr\u00e1cticas o para obtener alguna certificaci\u00f3n.&nbsp;<\/li>\n\n\n\n<li><strong>Tema:<\/strong> es posible desarrollar una evaluaci\u00f3n m\u00e1s general o centrarse en un tema concreto (como el uso de los datos, la \u00e9tica y los derechos humanos, o la gobernanza).&nbsp;<\/li>\n\n\n\n<li><strong>\u00c1mbito:<\/strong> en algunos casos, se analiza un aspecto concreto del algoritmo y, en otros, se hace un estudio detallado del sistema completo.&nbsp;<\/li>\n\n\n\n<li><strong>Nivel de acceso:<\/strong> dependiendo del nivel de acceso que tiene el equipo evaluador a la informaci\u00f3n sobre el sistema, pueden desarrollarse evaluaciones <em>white-box<\/em>, <em>black-box<\/em> o un punto intermedio.\u00a0<\/li>\n\n\n\n<li><strong>Metodolog\u00eda:<\/strong> se pueden desarrollar auditor\u00edas, que buscan analizar el algoritmo en funci\u00f3n de unos criterios espec\u00edficos (por ejemplo, para detectar sesgos o para verificar el cumplimiento de una normativa), o tambi\u00e9n es posible avanzar hacia evaluaciones de impacto de forma m\u00e1s amplia.<\/li>\n<\/ul>\n\n\n\n<p>Siguiendo estas dimensiones, tambi\u00e9n identificamos los principales <strong>m\u00e9todos<\/strong> que se usan para la <strong>evaluaci\u00f3n de algoritmos<\/strong>, que van desde los m\u00e1s t\u00e9cnicos hasta los m\u00e1s hol\u00edsticos. La lista incluye las auditor\u00edas de c\u00f3digo, el <em>scraping<\/em>, <em>sock puppet<\/em>, <em>carrier puppet<\/em>, auditor\u00edas colaborativas, an\u00e1lisis estad\u00edsticos, <em>checklists<\/em>, encuestas a usuarios\/as, grupos focales y estudios de caso o historias de desarrollo. En el documento explicamos cada uno de estos m\u00e9todos y ofrecemos ejemplos de aplicaci\u00f3n en la pr\u00e1ctica.\u00a0<\/p>\n\n\n\n<h5 class=\"wp-block-heading\"><strong>Ecosistema y niveles de gobernanza de rendici\u00f3n de cuentas algor\u00edtmica<\/strong><\/h5>\n\n\n\n<p>Bajo la premisa de que los algoritmos son sistemas sociot\u00e9cnicos, en este informe tambi\u00e9n reflexionamos sobre el contexto en el que se desarrollan las evaluaciones algor\u00edtmicas. Identificamos, de esta forma, un ecosistema de rendici\u00f3n de cuentas compuesto por tres capas de gobernanza:\u00a0<\/p>\n\n\n\n<ul class=\"wp-block-list\" style=\"font-size:16px\">\n<li><strong>Nivel macro:<\/strong> en este caso, nos referimos a los diferentes sectores que interact\u00faan en el ecosistema de rendici\u00f3n de cuentas algor\u00edtmica. Tenemos, entonces, el sector privado, el sector p\u00fablico y el tercer sector. El rol que cada uno tiene en determinados contextos puede incidir en la forma en la que se desarrollan las evaluaciones de algoritmos. Es decir, los equilibrios que existen entre estos sectores y los valores m\u00e1s amplios en la sociedad pueden tambi\u00e9n influir en los aspectos que se priorizan en las evaluaciones de los algoritmos.&nbsp;<\/li>\n<\/ul>\n\n\n\n<ul class=\"wp-block-list\" style=\"font-size:16px\">\n<li><strong>Nivel mezzo:<\/strong> aqu\u00ed hacemos referencia a los \u00e1mbitos de actividad, como la salud, la educaci\u00f3n, la seguridad, la energ\u00eda, etc. Si bien hay aspectos transversales que deben permear en todos los sectores, es posible que cada uno de ellos tenga unas necesidades espec\u00edficas que requieran adaptar los procesos de evaluaci\u00f3n algor\u00edtmica al contexto.\u00a0<\/li>\n\n\n\n<li><strong>Nivel micro:<\/strong> en este nivel destacamos a los actores que participan de alguna manera en el ecosistema de rendici\u00f3n de cuentas algor\u00edtmica. En este sentido, tenemos a las organizaciones, consultoras o especialistas que desarrollan los procesos de evaluaci\u00f3n, pero tambi\u00e9n hay que considerar a las personas usuarias, los organismos de regulaci\u00f3n y las organizaciones del tercer sector que, de forma indirecta, pueden influir en estas din\u00e1micas.<\/li>\n<\/ul>\n\n\n\n<p>Teniendo en cuenta el panorama actual de la rendici\u00f3n de cuentas algor\u00edtmica, ofrecemos finalmente algunas ideas para avanzar hacia el futuro. Es importante, por ejemplo, seguir explorando nuevos m\u00e9todos que permitan captar la complejidad de los sistemas algor\u00edtmicos y su impacto en la sociedad. Tambi\u00e9n se debe impulsar la diversidad de los equipos evaluadores y la participaci\u00f3n de las personas usuarias y organizaciones de la sociedad civil, as\u00ed como fortalecer el rol que tiene el sector p\u00fablico en estos procesos.\u00a0<\/p>\n\n\n\n<p>Se puede descargar el informe completo <a href=\"https:\/\/digitalfuturesociety.com\/app\/uploads\/2024\/02\/Towards-accountable-algorithms_esp.pdf\" target=\"_blank\" rel=\"noreferrer noopener\">aqu\u00ed<\/a>. Y en ingl\u00e9s <a href=\"https:\/\/digitalfuturesociety.com\/report\/towards_accountable_algorithms\/\" target=\"_blank\" rel=\"noreferrer noopener\">here<\/a>.\u00a0<\/p>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>El 29 de febrero, durante el Mobile World Congress 2024, se present\u00f3 el informe Hacia un uso responsable de los algoritmos: m\u00e9todos y herramientas para su auditor\u00eda y evaluaci\u00f3n, publicado por Digital Future Society y elaborado por J. Ignacio Criado y Ariana Guevara-G\u00f3mez, miembros del equipo del Lab IT_GesPub.\u00a0<\/p>","protected":false},"author":8,"featured_media":2334,"comment_status":"closed","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[11,31],"tags":[128,129,35],"class_list":["post-2333","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-actividades-y-eventos","category-noticias","tag-algoritmos","tag-evaluacion-2","tag-inteligencia-artificial"],"_links":{"self":[{"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/posts\/2333","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/users\/8"}],"replies":[{"embeddable":true,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/comments?post=2333"}],"version-history":[{"count":0,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/posts\/2333\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/media\/2334"}],"wp:attachment":[{"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/media?parent=2333"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/categories?post=2333"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/itgespub.net\/en\/wp-json\/wp\/v2\/tags?post=2333"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}