Como ya os había avanzado tiempo atrás, desde finales del año pasado tengo una sección que se llama “El futuro está por hackear”, en la revista online “Zenda Libros”. Me invitó Arturo Pérez Reverte para que escribiera libremente en ese espacio de libertad para mí. De lo que quisiera. Y así he hecho. He elegido temas que tenían que ver con lo que el título promete, es decir, el impacto de la tecnología en el futuro de las personas y la sociedad. Esto es algo que me interesa mucho, ya que creo en hacer Tecnología Humanista.

Hasta el momento he publicado cuatro artículos sobre temas de los que he hablado algunas veces, pero aprovechando el espacio para revisarlos, expandirlos y deleitarme en explicaciones más detalladas. Ayer publiqué en el último artículo hasta el momento que he enviado para la revista, que titulé “La «Máquina Aprendiendo» que nombró secretaria a tu hija e ingeniero a tu hijo”, y que va de algo que creo que está mal, y que dos de las empresas más grandes de este planeta, con una valoración de trillones de dólares y superior al PIB de muchos grandes países, deberían subsanar. 

View this post on Instagram

A post shared by Chema Alonso (@chemaalonso)

Al publicarlo, algunos quisieron mezclar mi artículo con temas politizados que tienen que ver con la lengua. Por desgracia, hasta esos temas se politizan y se mezclan con cosas que no tienen nada que ver, así que, he decidido dar una explicación más larga y detallada para ver si consigo explicarme un poco más y llegar a más gente para que quede clara mi petición que, además, he “oficilizado” en Change.ORG por si tu quieres ayudarme con esto.


Es mi segunda petición en Change.Org tras haber pedido que la RAE cambiara la definición de hacker, y espero que tenga el mismo resultado que la anterior, donde la RAE demostró un comportamiento excepcional y supo adaptarse, algo que les he agradecido muchas veces.

Las herramientas informáticas y los bugs

Vengo del mundo de la seguridad informática y estoy acostumbrado a reportar bugs, leaks, features weaponizables, y weaknesses (cómo podéis ver, en un artículo que tiene que ver estoy utilizando muchos términos anglosajones en mi descripción, pero no es casual, como veréis más adelante). Estoy acostumbrado a decir “creo que esto está mal y hay que arreglarlo”. Y como todos los que hemos estado en esta industria de la seguridad informática y el hacking, hemos terminado por pasar por fases similares. Primero te dicen que está bien así, que es “una feature no un bug”, segundo que no es importante, y al final se corrige.

Por suerte, hoy en día, debilidades como el DirtyTooth de Apple, el bug de FaceID bypass en WhatsApp, o el leak de una dirección IP interna de en Parallel RAS, se toman más en serio, se aceptan y se buscan soluciones más rápidamente. Son bugs catalogados, documentados, estudiados, procedimentados. Tenemos una industria muy trabajada en el mundo de la seguridad informática y el hacking gracias a que muchos hackers han creado proyectos colaborativos para documentar lo que es un bug, para medir su impacto, para medir el riesgo, para tener catalogados todos y cada uno de los fallos descubiertos, para exigir la solución y reparación de ellos porque puede afectar a la seguridad o privacidad de uno de los usuarios de esa tecnología. 

Ha sido el trabajo de muchos años, campañas como “No more free exploits”, proyectos como Google Zero Project, trabajo de muchas comunidades y CONS de hacking que han tenido que luchar hasta con demandas legales por dejar que un investigador contara algo en el escenario, etcétera, para conseguir que cuando un investigador, un hacker, un usuario reporta algo que está mal en el área de seguridad informática, se arregle.

Hoy, las grandes empresas tecnológicas, ya se toman esto más en serio. La comunidad de hacking y seguridad informática ha sido fuerte, ha colaborado, ha empujado los límites, y ha conseguido que la sociedad se tome en serio y respete el trabajo de los investigadores de seguridad. Si aparece un bug, la empresa sabe que hay que arreglarlo o sufrirá la presión de la comunidad hasta que lo haga. Hasta los investigadores de Google Project Zero pusieron límites a sus reportes públicos para forzar a que empresas como Microsoft o Apple arreglen los bugs que ellos localizan.

Pero… ¿qué sucede con los fallos que no tienen que ver con seguridad informática? Por ejemplo, cuando un corrector ortográfico de un procesador de textos tan popular como Microsoft Office Word o como Google Docs marca como erróneo un termino que es correcto en lengua castellana. Evidentemente, no parece a priori que haya un impacto en seguridad o privacidad para los usuarios, pero sí que hay un impacto. 

El problema es que ese impacto es difícil de medir porque no hay una comunidad, una cultura, proyectos colaborativos que haya medido ese impacto. No se puede poner un CVE, ni calcular el CVSS (Common Vulnerability Scoring System). No se ha hecho un trabajo tan elaborado en tener catalogados los fallos como tiene OWASP o las debilidades. Pero, cada fallo de un sistema tiene su consecuencia y puede afectar a una persona o una comunidad.

En el caso del algoritmo de Machine Learning que pusimos de ejemplo en el que una inteligencia artificial decidía blanquear el color de piel de las imágenes teníamos un fallo que podría impactar a ciertas comunidades de personas si no se corregía. No es un fallo de seguridad como tal, pero sí que existen entornos donde, aplicada la salida de ese algoritmo como parte de la toma de decisiones, puede afectar a la vida de una persona. Y por eso vemos que ese algoritmo está mal y hay que corregirlo.

En el ejemplo que ponía yo de los correctores ortográficos que marcan como error términos correctos en nuestra lengua, como expliqué en el artículo de la viralización de los errores y el cercenamiento de nuestra lengua, afectan a la comunidad hispanohablante de una manera muy significativa. Hacen creer a los usuarios que ciertos términos son erróneos y estos dejan de usarlos, con lo que la riqueza de nuestra lengua se reduce. Esto mismo sucede al contrario con los errores, se hace creer a los usuarios que el termino es correcto y falla la comunicación, con lo que al final nuestra lengua es un poco menos efectiva en su objetivo principal, ser soporte de obras artísticas, negocios, sentimientos o comunicación efectiva.

Pero como he dicho antes, en este tipo de fallos – porque evidentemente que un corrector ortográfico marque como erróneo un termino correcto es un fallo - no es fácil medirlo ni forzar su corrección. Si no hay un incentivo para que la empresa lo corrija, no se va a producir dicho arreglo. Y la única forma de que la empresa encuentre ese incentivo es mediante un impacto en la cuenta de resultados porque los usuarios dejen de utilizar esas herramientas o una comunidad que lo demande con firmeza, como sucedió en la industria de la seguridad informática y el hacking. Si no, se pone en el backlog y ya se arreglará cuando haya tiempo.

La traducción de profesiones en Google y Microsoft con género

En esta parte de este extenso artículo, voy a centrarme en lo que es un fallo en sí en un sistema informático que hace traducciones. En la siguiente, me centraré en por qué creo que hay que arreglarlo. Y en la última parte en cuáles son los debates que quieren enredar y que no tienen nada que ver con esto.

Para empezar, no hay que olvidar que la lengua es una herramienta de comunicación. Una forma en la que dos personas hacen que lo que pasa por su cerebro se codifique en un lenguaje que el destinatario de la comunicación sea capaz de decodificar. Cuando más rico es ese lenguaje, más ajustadas pueden ser las codificaciones de lo que el emisor quiere comunicar, y lo que llega al destinatario.

Es decir, supongamos que yo quiero comunicarle algo a una persona. Lo que está dentro de mí es un mensaje que llamaremos "Mensaje Original". Ese es un mensaje dentro de mi cabeza, dentro de mí, con muchos matices, sensaciones, metáforas, memorias, etc.. No todo lo que tiene en ese mensaje se puede comunicar en un lenguaje escrito. Algunos necesitan de música. De ambientes. De olores. El "Mensaje Original" que está en los emisores es mucho más rico que lo que se va a poder enviar por el medio.

Como primera fase, hay que codificar ese "Mensaje Original" en un lenguaje de comunicación dando como resultado el "Mensaje Comunicado". Cuanto más rico será ese lenguaje y más diestro el emisor con el lenguaje, más cercano será el "Mensaje Comunicado" al "Mensaje Original". Si nuestra lengua de comunicación materna pierde riqueza, entonces el "Mensaje Original" y el "Mensaje Comunicado" serán más distantes.  Por ejemplo, esto es como si yo quiero que tú veas lo que yo estoy viendo. Lo que ve mi cerebro a través de mis ojos y el funcionamiento de mi sistema de visión es una cosa. Si le hago una foto con una cámara y la codifico en formato de fichero, lo que va en ese mensaje comunicado dependerá de la calidad de mi cámara de fotos, y del formato elegido (del lenguaje). 

Y ahora llega la decodificación. El receptor del mensaje nunca ve el "Mensaje Original". Solo tiene acceso al "Mensaje Comunicado", y él deberá decodificarlo en un "Mensaje Recibido" que, difícilmente será igual que el "Mensaje Comunicado". Es decir, en un proceso de comunicación hay cambios entre el "Mensaje Original", el "Mensaje Comunicado" y "Mensaje Recibido". O lo que solemos expresar como: "Lo que se piensa, lo que se dice, lo que se entiende."

La gracia es que NO siempre es con perdida de calidad. La gracia es que a lo mejor hay contaminación de mensaje. Los famosos malentendidos. Y por supuesto, los mensajes ocultos que no van a ti, que van directamente a tu cerebro de forma subliminal. De forma que no puedas defenderte. Cuántas discusiones habremos tenido por “eso que me has dicho ha querido decir otra cosa”.

Cuando usamos una herramienta para codificar información, como por ejemplo una cámara de fotografías, un formato de ficheros o una herramienta de transmisión de archivos, puede que por falta de capacidad, deterioremos la comunicación. Si tenemos una fotografía de 16 M de colores, y la codificamos en un lenguaje con perdida de calidad como JPEG, y después la enviamos por WhatsApp o Telegram con compresión y reducción de calidad, lo que llega se ha deteriorado.

En la comunicación escrita hoy en día, utilizamos muchas herramientas en la comunicación, como por ejemplo el corrector ortográfico o, como nos atañe ahora, el traductor. Si utilizo un mal traductor, tendremos pérdida de información. Por ejemplo, si traducimos “La vendedora” en Google, veremos que hay un deterioro de la información en el mensaje, ya que hemos perdido el género de la persona. Es decir, en el mensaje original hemos dado dos informaciones: Su profesión y que era una mujer. En la traducción que ha hecho Google Translate solo va una, la profesión.


¿Es correcto desde el punto de vista gramatical? Sí. ¿Hace bien su trabajo? No del todo. ¿Afecta a las personas que utilicen esta tecnología? Sí, claro. Los que utilicen esta herramienta para traducir correos electrónicos al inglés verán empobrecida su comunicación porque hay información que se ha perdido. Igual que cuando se traduce una frase hecha con mucha información en ella y se hace una traducción literal. Se empobrece la comunicación del que se usa.

De nuevo, por si alguno quiere politizar este ejemplo, en inglés existe salesman y saleswoman para que esto no pase en este ejemplo concreto, y si ponemos un nombre femenino delante vemos que Google lo utiliza. No busquéis política aquí, se trata solo de un funcionamiento pobre de una herramienta informática en algunos casos. Ya está. 

El número de ejemplos de malas traducciones es altísimo. No estamos descubriendo el fuego. Funciona como está por ahora, y está mal. No es un idioma prioritario. En el caso del Chino y el Inglés, se ha conseguido la paridad humana traduciendo noticias entre ellos, pero conseguir esto en Español e Inglés aún estamos lejos por falta de priorización de las inversiones. Solo eso.

Por qué hay que arreglar el Sesgo en las profesiones

Dentro de los mil y un ejemplos que podremos dar de malas traducciones, existen algunos que son especialmente peligrosos. El propio Google, cuando presentaba el sistema TCAV para descubrir cuándo un algoritmo suyo había aprendido con sesgo, como el caso en el que sus sistemas de visión artificial reconocían a los doctores por tener bata blanca, estetoscopio y ser hombres, reconocía que esto estaba mal.


Microsoft, en sus principios de IA dice que están "comprometidos con el avance de la Inteligencia Artificial con principios éticos que pongan a las personas primero". Esto es algo importante y de lo que hablé en mi discurso de tecnología humanista. Si hacemos tecnología que afecta negativamente a la vida de una persona o una comunidad, no estamos haciendo bien las cosas. Y la tecnología que se utiliza en la comunicación es muy relevante, pero no solo porque empobrezca la comunicación – que ya está mal -, sino porque puede enturbiarla y enviar mensajes que no estaban en la comunicación inicial.

En el ejemplo anterior he puesto un caso en el que al usar el traductor de Google hemos quitado información. Hemos quitado la información del género de la persona que ejercía una profesión. Hemos empobrecido la comunicación original. 

Así, cuando ponemos algo como esto y Microsoft y Google deciden que "judge" es hombre, "nurse" enfermera y que "engineer" es hombre, están añadiendo información que no estaba en el mensaje original. Y eso no está solo mal que añadan información inventada, sino que además esa información adicional se ha añadido en base a estereotipos, sesgos, que como sociedad queremos cambiar.


¿Y porque hay que arreglarlo? Pues primero porque está funcionando mal añadiendo información que no estaba, y eso es un fallo. Segundo porque la información que está enviando le está llegando a personas que la van a utilizar.  Vamos a hacer un experimento.

Por ejemplo, supongamos que estamos en una clase de niños de 6 o 7 años que no han estudiado inglés, y proponemos este ejercicio. Van a ser ilustradores, como muchos de los grandes ilustradores que tenemos en este país que trabajan para Estados Unidos o Inglaterra. Tienen que ilustrar la notica, y el titular que tienen es el del ejemplo anterior. ¿Cómo creeréis que van a ilustrar “judge”, “nurse” y “engineer”? Pues con el sexo que les haya dado traductor. Pero es que además, si el lector lee la noticia traducida – como hacen muchos lectores hispanohablantes – leerán información que no es verdad, que está directamente inventada por el traductor por muy correcta que sea ortográfica y sintácticamente hablando.

Y como tercer y último motivo, es por los mensajes subliminales que inyecta al hacer una manipulación de la información añadiendo géneros que no existen de forma sesgada. Ahí que tener en cuenta que lo que el receptor recibe no es siempre lo que el emisor quería comunicar. Y puede que incluso comunique cosas que no se querían comunicar.

Por ejemplo, en el mundo de la publicidad, si todos los folletos de bicicletas de una empresa muestran bicicletas de paseo con cestas con fotos de niñas felices, y bicicletas de montaña con niños fuertes haciendo deporte. ¿Qué es lo que está comunicando el emisor? ¿Se está mandando un mensaje explícito o implícito? ¿Es posible que alguno de los cerebros de los que ven esa revista accedan a algún mensaje más allá de la marca, el modelo y el precio de las bicicletas?  La película Origen del gran Nolan y Leonardo di Caprio aborda este tema desde un punto de la ciencia ficción. No hay nada más poderoso que una idea que se cuela en el cerebro de una persona de forma inconsciente, ya que pensará que la idea es suya y no podrá defenderse de ella.

Esto es muy conocido en el mundo la publicidad, y por ello durante años se ha estado utilizando. Hoy en día esto está muy regulado, y conlleva sanciones económicas, y según la “Ley 7/2010, de 31 de marzo, General de la Comunicación Audiovisual” se define “Publicidad Subliminal” como:

No, no me malinterpretéis. No estoy diciendo para nada que una traducción que añada de manera arbitraria el género a una profesión de manera sesgada (niñas: secretarias y enfermeras, hombres: jueces e ingenieros), esté haciendo publicidad subliminal. Para nada. Lo que estoy diciendo es que manda un mensaje subliminal del que no pueden defenderse niños y niñas al ayudar a viralizar estereotipos de profesiones a género. Y eso está mal. ¿Fallaba la IA de Google al usar hombre como factor para reconocer a un doctor? Pues según sus datos de entrenamiento no, pero como bien decían en la conferencia, eso estaba mal.

En definitiva, hay que arreglar esto porque:

Y lo que es más fácil, se puede arreglar tan fácilmente y sin entrar en el mensaje enturbiado político, que con un esfuerzo muy pequeño se tendría un impacto muy grande, más cuando estamos utilizando todas estas herramientas en la educación en colegios e institutos.

Cómo arreglarlo y dejar aparte los debates político-lingüísticos que no están aquí

Vayamos a ver el problema desde un punto de vista informático, que es de lo que estamos hablando aquí, de una herramienta informática. Supongamos que tenemos una frase en inglés con profesiones que hay que traducir al español. ¿Que debería realizar el traductor una vez que sepa que salen profesiones con género en el resultado? Primero averiguar si es posible conocer el género de la profesión en la frase en idioma original. Si se puede detectar, hay que elegir una de las formas de codificar ese género. Y esto es algo que está totalmente fuera de lo que concierne este artículo.

Está claro que los profesionales que ejercen una profesión pueden tener en español género femenino o género masculino. Y existen tres corrientes ideológicas que se han politizado al respecto, y de las que hay que estar fuera en este debate del artículo. Yo me mantengo al margen de estas tres corrientes. Las tres me valen. Son los tres tipos de discusiones que suelen enturbiar este caso, y que os dejo aquí:

Esto es algo en lo que yo no entro, y que se entronca con otro debate feroz. Entre los puristas que no quieren que la lengua se contamine con términos y formas de otras lenguas y los que creen que la evolución de la lengua es buena. Yo, aquí, personalmente, creo que la evolución de la lengua es buena, y que palabras como canoa, quilombo, polera, vespino, pololo o hacker, han enriquecido nuestro idioma ampliando la riqueza del lenguaje con términos que traen nuevas formas de comunicarse o nuevos matices. Y yo uso muchos términos en inglés que tienen una definición exacta de lo que quiero decir y se entienden bien por los destinatarios de mis textos de este blog, como exploit, leak, bug, etc...

Pero de nuevo, estos debates no tiene nada que ver con el poner géneros sesgados en traducciones.

Si vemos el traductor de Microsoft, podemos ver que "parece" que ellos han optado por utilizar la opción b), aunque como podéis ver, con “presidenta” falla estrepitosamente. El término “presidenta” está en el diccionario de la RAE desde 1803 y su origen se remonta al siglo XIV, pero la traducción falla.


En el caso de Google, de nuevo "parece" que la opción es similar, pero como vemos, en el caso de juez, ha elegido la opción a). Y esto es muy importante, porque ayuda a entender que realmente no están eligiendo ninguna opción, sino que es lo que haya aprendido el algoritmo. 


Al final, la como podemos ver en los ejemplos, la selección de los algoritmos de traducción de la opción a), b) o c) no es un posicionamiento para nada de las compañías en el debate “politizado”.  Simplemente han dejado sus algoritmos que aprendan de los datos y los resultados son los que el algoritmo haya aprendido. Y ese es el problema si no lo controlas, que aprenden con errores, y con sesgos de género.

Y ese es el problema grabe que hay que subsanar.

Veréis, visto lo anterior, está claro que si el motor de traducción es capaz de detectar el género en la frase, puede utilizar la opción a), b) o c), pero lo cierto es que el algoritmo está utilizando datos sin preocuparse de que el resultado traducido haya sido aprendido desde un texto en el que se sabía el género o desde un texto en el que no se sabía un género, y eso es lo que hay que arreglar, porque si no lo haces, viralizas los sesgos de género en las traducciones. Puede ser que no sepa ni qué esta traduciendo  profesiones, géneros, etcétera y que solo esté buscando comparaciones en textos traducidos en el pasado en los que busca comparaciones de las frases. Hay que saber cómo ha aprendido, pero lo cierto es que tiene errores grabes y sesgos

Así que, el traductor, una vez que saque los términos en profesiones con genero, debe arreglarse para que pueda saber si conoce el género o no para cada una de ellas y tomar una decisión de cómo informar al usuario del género y de si no lo ha reconocido. Si lo ha detectado, puede usar las opciones a), b) o c)  anteriores o la que haya aprendido el algoritmo en cada caso, pero si no lo ha detectado debe dejarlo claro al usuario de la herramienta de alguna forma

 

Quiero remarcar que para mí es un fallo de una herramienta informática que viraliza un sesgo de género y está mal. Entiendo perfectamente porque se genera ese sesgo en la herramienta ya que utiliza textos masivos con aprendizaje automático y es lo que aprende. Pero hoy en día, en el que tanto Google como Microsoft tiene una oferta de herramientas para educación y elearning tan potente, y el traductor es una pieza clave en el paquete de soluciones, deberían hacer esfuerzos para arreglar ese sesgo, y por eso he abierto la petición en change.org.



Por supuesto, si eres profesor de primaria, y utilizas estos traductores en clase, es muy importante que seas consciente de que tienen sesgo de género y que pongas sobre aviso a todos los alumnos que lo utilicen, para que sepan que - si no saben inglés - no se pueden fiar de los géneros de las profesiones en las traducciones de Google o Microsoft porque pueden ser arbitrarios con sesgo.