Twitter abrió su algoritmo y confirma que fue racista

Twitter organizó un concurso para que especialistas externos hurguen en una sección de su algoritmo y determinen si, tal como se dijo el año pasado, parte de la tecnología que da sustento a la red social tuvo sesgos racistas. ¿Por qué una empresa reparte premios para que la señalen con el dedo? ¿Acaso es masoquista? Nada de eso: aquel impulso no es extraño en una industria en la que compañías de software entregan recompensas a hackers que reporten brechas de seguridad antes de que sean explotadas.

La historia de este certamen que culminó recientemente (un adelanto: se confirmó que el algoritmo de Twitter fue racista) nos remonta a septiembre de 2020, cuando un estudiante descubrió por casualidad que una porción de la tecnología de esa plataforma presentaba sesgos discriminatorios. La red social incluyó hace un tiempo un sistema que genera una vista previa de fotografías y determina en forma automática las partes más destacadas. Nada extraño hasta aquí. El problema es que ese mecanismo automatizado privilegió rostros de personas blancas, delgadas y jóvenes.

Por entonces, el debate invadió la escena tuitera. Uno de los hilos más extensos mostró que al publicar una foto en la que aparece el expresidente de Estados Unidos Barack Obama y el señador Mitch McConnell, el algoritmo eligió al hombre de piel blanca. El sesgo se evidenció incluso con imágenes de dibujos animados.

Tal como señalamos, el descubrimiento fue casual. Un usuario comentó en un tuit que había encontrado un inconveniente para que Zoom (la célebre app para videollamadas) detecte rostros de personas negras al colocar fondos virtuales. Publicó el mensaje incluyendo capturas y descubrió además que la vista previa de Twitter privilegiaba las caras de caucásicos.

La reacción de Twitter: sorpresa y mea culpa

La empresa que dirige Jack Dorsey prometió investigar ese comportamiento de su algoritmo, apenas fue revelado. Levantaron la mano aceptando responsabilidades y también manifestaron su sorpresa. “Estoy tan irritado por esto como todos los demás”, decía en la ocasión Dantley Davis, director de diseño en la compañía.

“Nuestro equipo hizo pruebas antes de enviar el modelo y no encontró evidencia de prejuicio racial o de género. Pero está claro a partir de estos ejemplos que tenemos más análisis que hacer”, señaló por su parte la vocera de Twitter, Liz Kelley. “Abriremos nuestro trabajo para que otros puedan revisar y replicar”, añadió. Parag Agrawal, responsable de tecnología en la red social, comentó que este tipo de sistemas requieren mejoras constantes.

Corrieron pocas horas del escándalo para que Twitter salga al ruedo a prometer los cambios necesarios. Remarcaron que antes de implementar el algoritmo probaron la preferencia por pares entre dos grupos demográficos (blanco-negro, blanco-indio, blanco-asiático y hombre-mujer). “En cada ensayo combinamos dos caras en la misma imagen, con su orden aleatorio, luego calculamos el mapa de prominencia sobre la imagen combinada, ubicamos el máximo del mapa de prominencia y registramos en qué categoría demográfica aterrizó”, detallaron.

Repitieron este análisis 200 veces para cada par de categorías demográficas y evaluaron la frecuencia de preferir una sobre la otra. No obstante, y tras las quejas, la compañía realizó “análisis adicionales para agregar más rigor” a las pruebas.

En ese marco, dijeron que buscan disminuir la dependencia del recorte de imágenes basado en aprendizaje automático para que las personas tengan más control sobre la forma en que se ven sus imágenes en un tuit. En un futuro quieren que la foto que se vea en el editor del tuit sea la que realmente se verá en la publicación compartida, aunque para las imágenes que tienen un tamaño mayor o son muy anchas o largas, indicaron que tendrán que “experimentar” con la forma en que se presenta la imagen para que “no pierda el punto focal previsto por el creador ni le quite integridad a la foto”.

Premios para los críticos

El mencionado concurso organizado por Twitter pretendió arrojan aún más claridad a este debate. El certamen culminó hace algunas jornadas y, tal como anticipamos, confirmó que el sistema presentó sesgos racistas. En concreto, la red social abrió sus entrañas para que especialistas en programación estudien el código y encuentren los orígenes de ese mal comportamiento.

El ganador de la competencia fue Bogdan Kulynych, un ucraniano nacido en 1993 doctorado en la Universidad Politécnica de Lausane, en Suiza. El joven descubrió que, efectivamente, el algoritmo de Twitter prefiere caras blancas, jóvenes, delgadas y con rasgos femeninos. Según dicen en El País de España, el sesgo de ese modelo supuestamente se basa en las elecciones de la mirada humana, que también se enfocaría en esas características.

“En mi investigación generé varias caras artificiales y las modifiqué no arbitrariamente, sino de una manera muy específica para ver en cuáles el algoritmo incrementaba la prominencia”, explicó Kulynych. El ganador del certamen comentó que seleccionó un grupo de 16 rostros y que el sistema de la red social eligió las características mencionadas en desmedro de otras. Sí, la muestra es pequeña pero cabe notar que el concurso sólo se extendió durante una semana y que los procesos de verificación no se realizan en minutos. “Sospecho que con ese análisis más extenso la diferencia sería menos pronunciada o que los patrones serían menos claros”, dijo al respecto Kulynych.

Un dato antes de continuar: Kulynych se llevó un cheque de apenas 3.500 dólares por su trabajo y consagración, una suma muy escasa considerando los volúmenes de dinero que se manejan en la industria.

Además del hallazgo y comprobación de Kulynych, hubo otros reconocimientos. El segundo premio en el concurso fue para un análisis que comprobó que el algoritmo prestaba menos atención a caras de ancianos; y el tercero se lo llevó un investigador que halló que el algoritmo elegía el lenguaje en grafías latinas por sobre el árabe. La empresa californiana también otorgó un premio a un investigador que reveló que los emojis de piel clara también recibían mejor puntuación por parte del algoritmo.

¡Chau algoritmo!

El concurso organizado por Twitter se realizó luego de haber eliminado aquel algoritmo en mayo; la red social prefirió reemplazarlo por una variante artesanal, manual. Esto quiere decir que cada usuario es el que decide el recorte de la imagen.

Sin embargo, la falla de ese algoritmo y su posterior descarte no remedia el problema. Como veremos en lo que sigue, los sistemas automatizados (las variantes de la inteligencia artificial) han reflejado en más de una ocasión sesgos racistas, machistas y discriminatorios.

Fuente: TN Tecno