Los incidentes continúan. Dadas las amenazas a la democracia y la sociedad, así como sus considerables recursos y capacidad técnica, ¿qué es exactamente lo que impide a las empresas de redes sociales mitigar más eficazmente la desinformación, el discurso de odio y la agresión en sus plataformas?
Por Susan Etlinger. Traducción realizada por JJ Martínez Layuno, co-capitán de Data.Democracia, bajo autorización de CIGI.
Durante los últimos años, el diálogo sobre tecnología responsable se ha intensificado mundialmente. Cada vez más, estamos reconociendo que la tecnología no es y nunca podrá ser neutral, que tiene implicancias significativas para las personas y la sociedad, y que las tecnologías inteligentes tienen consecuencias que pueden privar de derechos a distintas personas y afectar especialmente a poblaciones vulnerables.
Nada de esto es nuevo para historiadores de la tecnología, sociólogos, politólogos y otros que estudian el comportamiento humano y la historia. Sin embargo, parece que nada estaba más alejado de la mente de los fundadores de las redes socialess cuando concibieron sus servicios. Los productos de estos gigantes de la tecnología actúan ahora como canales de comunicación de facto para una parte significativa –la mitad– de los 4.300 millones de usuarios de Internet en todo el mundo.
Incluso un breve vistazo a los sitios web de estas empresas[1] ofrece una ventana a sus autoconcepciones. La misión de Facebook es «dar a la gente el poder de construir una comunidad y acercar al mundo», mientras que la de Twitter es «dar a todo el mundo el poder de crear y compartir ideas e información de forma instantánea y sin barreras». YouTube espera “dar a todos una voz y mostrarles el mundo».
Estas compañías no han sido preparadas para las formas en que sus plataformas pueden ser utilizadas como armas. Facebook, Twitter y YouTube se utilizaron para distribuir y amplificar información errónea tanto en la votación de Brexit en el Reino Unido como en las elecciones presidenciales de 2016 en los Estados Unidos[2].
Se utilizaron para transmitir en vivo los atentados terroristas contra dos mezquitas en Christchurch (Nueva Zelandia)[3]. Los supremacistas blancos y otros grupos similares las utilizan regularmente para difundir discursos de odio.
Es evidente que estos efectos no sólo están en contradicción con los valores democráticos, sino también con las intenciones e ideales declarados por las plataformas. En respuesta, las empresas han instituido o aumentado los equipos de justicia, confianza y seguridad existentes para abordar estas cuestiones de forma organizacional y sistémica. Han construido principios y check-lists, así como también gruesos y detallados volúmenes de directrices comunitarias. Han contratado a compañías que emplean a miles de moderadores en todo el mundo para revisar el contenido.
Sin embargo, los incidentes continúan. Dadas las amenazas a la democracia y la sociedad, así como sus considerables recursos y capacidad técnica, ¿qué es exactamente lo que impide a las empresas de redes sociales mitigar más eficazmente la desinformación, el discurso de odio y la agresión en sus plataformas?
Abordar estas cuestiones no es tan sencillo como parece. Además de la dinámicas legales, sociales y culturales en juego, hay otros factores que debemos tener en cuenta: la escala de las redes sociales, las tecnologías en las que se basan y los entornos económicos en los que operan. Cualquiera de estos factores por sí solo presentaría desafíos importantes –la escala de las operaciones, la naturaleza sofisticada pero frágil de las tecnologías inteligentes y los requisitos de funcionamiento de las empresas que cotizan en bolsa– pero en conjunto resultan mucho más complejos.
La escala de las redes sociales
La escala de las redes sociales de hoy en día no tiene precedentes. Por ejemplo, a diferencia de los primeros tiempos –cuando Facebook se creó como un sitio para calificar el atractivo de las mujeres, antes de que se transformara en una especie de anuario digital–, la compañía tiene hoy 2.410 millones de usuarios activos mensualmente (al 30 de junio de 2019), y «más de 2.100 millones de personas utilizan Facebook, Instagram, WhatsApp o Messenger todos los días en promedio «[4]. YouTube tiene más de mil millones de usuarios –que comprenden aproximadamente un tercio de los usuarios de Internet– y opera en 91 países en 80 idiomas diferentes. Según YouTube, la gente de todo el mundo ve más de mil millones de horas de vídeo cada día. Twitter tiene 139 millones de usuarios activos diariamente, que envían 500 millones de tweets al día. Todas estas cifras suman un nivel de impacto y complejidad en las comunicaciones que nunca antes se había visto en la historia de la humanidad.
Comprendiendo los problemas de la tecnología
Las redes sociales de hoy en día son mucho más sofisticadas técnicamente que cuando se introdujeron a mediados de la década de 2000. Uno de los cambios clave es el uso de lo que se conoce ampliamente como tecnologías de inteligencia artificial (IA), que permiten a las plataformas reconocer e interpretar el lenguaje, las imágenes y utilizar datos para desarrollar modelos que permiten hacer inferencias, clasificar información y predecir intereses, entre otras cosas.
Estas capacidades permiten a las plataformas recomendarnos vídeos, productos o publicaciones políticas, traducir mensajes desde idiomas diferentes al nuestro, identificar personas y objetos, y proporcionar opciones de accesibilidad a las personas con discapacidades visuales u otras necesidades. También pueden utilizarse para identificar contenidos o comportamientos de cuenta potencialmente problemáticos.
Lo que es fundamentalmente diferente de estas tecnologías es que, a diferencia de los programas informáticos del pasado, la IA aprende de los datos y se comporta de forma autónoma en algunas circunstancias. Pero, por su sofisticación cada vez mayor, las tecnologías inteligentes plantean serios problemas. Hay varias cuestiones fundamentales en juego.
Seguridad versus libertad de expresión
Cuando se trata de moderar el contenido, los programas de IA están muy lejos de ser expertos en comprender contexto y matices, por lo que cometen errores que pueden dar lugar a «falsos positivos» (marcar un vídeo, una declaración o una foto inocua) o «falsos negativos» (fallando con un post que sí es violento o de algún modo indeseable). En el mundo de las redes sociales, los falsos positivos provocan protestas por la censura, por ejemplo, cuando una plataforma retira un mensaje de una organización que lo está compartiendo para concientizar sobre una violación a los derechos humanos. Por otro lado, los falsos negativos exponen a la empresa a una responsabilidad legal si, por ejemplo, no reconoce y retira el contenido prohibido dentro de un plazo estipulado.
En consecuencia, las redes sociales utilizan moderadores de contenido humano para examinar los mensajes ambiguos, tarea que algunos han calificado de «el peor trabajo de la historia» (Weber y Seetharaman 2017). Los moderadores de contenido, a menudo empleados de grandes empresas contratantes, observan y clasifican cientos de miles de mensajes por día. Algunas de las tareas, como la de etiquetar los lugares y clasificar los animales, suelen ser inofensivas, aunque bastante tediosas, pero las personas que se ocupan de los contenidos más extremos pueden desarrollar síntomas de estrés postraumático provocado por la exposición continua a imágenes perturbadoras. Algunos moderadores de contenido, tras una exposición repetida a determinado material, comienzan a «adoptar los puntos de vista marginales de los vídeos y memes que se supone deben moderar» (Newton 2019).
El sesgo, implícito o explícito, tiende a amplificarse. La protesta de una persona es el disturbio de otra.
La naturaleza esencialmente subjetiva, probabilística y a menudo culturalmente específica de la clasificación de la imagen y el lenguaje crea una complejidad adicional. El sesgo, implícito o explícito, tiende a amplificarse (Zhao et al. 2017). La protesta de una persona es la revuelta de otra. La preciada foto de una persona de un miembro de la familia amamantando a su hijo es pornografía para otra persona.
La eliminación de «Napalm Girl» en Facebook en 2016, la fotografía histórica de Nick Ut y ganadora del Premio Pulitzer de una niña desnuda de nueve años, Kim Phúc, gritando de dolor mientras huía de un ataque con napalm durante la guerra de Vietnam, pone de relieve tanto la naturaleza contextual de las redes sociales como las limitaciones de la toma de decisiones algorítmicas. La decisión de Facebook de retirar la foto dio lugar a una carta abierta a la empresa en Aftenposten, el mayor periódico de Noruega, acusando a la empresa de censura y abuso de poder (Hansen 2016). Facebook respondió: «Si bien reconocemos que esta foto es icónica, es difícil crear una distinción entre permitir una fotografía de un niño desnudo en un caso y no en otros» (citado en Levin, Wong y Harding 2016). En última instancia, la compañía reinstauró «Napalm Girl».
Pero el argumento de Facebook no puede ser visto como una elección editorial aislada; es un asunto de sistemas también. Los algoritmos que la compañía utiliza para moderar el contenido aprenden de las decisiones, por lo que las redes sociales también deben considerar los precedentes que están estableciendo en sus sistemas, qué consecuencias no deseadas e indeseables podrían desencadenar esas decisiones, y qué posibles intervenciones técnicas podrían evitar que esas consecuencias indeseadas se produzcan en el futuro, a través de docenas de idiomas, múltiples variedades de datos (textos, fotos, memes, vídeos) y millones de mensajes al día.
Limitaciones de las tecnologías del lenguaje
Si bien la tecnología lingüística sigue mejorando rápidamente, sigue dependiendo en gran medida de grandes volúmenes de datos etiquetados y limpios para lograr un nivel aceptable de precisión. «Determinar en tiempo real si alguien está diciendo algo que sugiere una probabilidad razonable de daño», dice Carole Piovesan, socia y cofundadora de INQ Data Law, «requiere un equipo de intérpretes locales para entender la conversación en el contexto y en el dialecto local»[5]. Desde un punto de vista práctico, es mucho más fácil para los algoritmos y los moderadores de contenido interpretar un evento que se mueve rápidamente, en un idioma hablado por cientos de millones de personas, que interpretar el contenido en un idioma o dialecto hablado por una población pequeña.
Este tipo de escenario también requiere un proceso para asegurar que haya un consenso sobre el significado de un mensaje cuestionable y las medidas que deben adoptarse al respecto, un proceso que es crítico pero que lleva tiempo en situaciones en las que incluso milisegundos pueden determinar hasta dónde se propagará un mensaje. Esto hace difícil, si no imposible, que las empresas de redes sociales cumplan las leyes que exigen la eliminación de los posteos prohibidos en el plazo de una hora. Además, como señala Piovesan, hay efectos secundarios que debemos considerar: «Si usted ofreciera su servicio sólo en aquellas regiones donde tiene suficientes intérpretes competentes para entender correctamente la conversación, se arriesga a aumentar la brecha entre los que tienen acceso a las plataformas sociales y los que no».
Falta de normas digitales
Las redes sociales se encuentran ahora con que tienen que tomar decisiones, a menudo imperfectas, que afectan a personas de todo el mundo. Sería mucho más sencillo para ellos establecer una cultura común y un conjunto de normas a través de sus plataformas. Pero como dice Chris Riley, director de políticas públicas de Mozilla, «eso sería muy difícil de hacer sin cumplir con el mínimo común denominador de cada país en el que operan». No es posible diseñar una red social que cumpla con las expectativas sociales de cada país. Además, no es aconsejable intentarlo, porque hacerlo promovería la hegemonía cultural»[6]. Esto no significa que sea inútil para la comunidad mundial intentar acordar estructuras de gobierno. Más bien, esas estructuras deben ser lo suficientemente flexibles como para tener en cuenta el idioma, la cultura, el acceso y las variables económicas y de otro tipo sin introducir consecuencias indeseables no deseadas.
La economía de las compañias de redes sociales
Lo declarado como misión de las compañias de redes sociales se centra en el intercambio, la comunidad y el empoderamiento. Pero sus modelos de negocio se basan en, y sus precios de las acciones suben y bajan cada trimestre en función de, su capacidad de crecimiento, medida en métricas de atención y compromiso: usuarios activos, tiempo dedicado, contenido compartido.
Pero esto no es simplemente una cuestión de beneficios. Las grandes empresas de redes sociales –Facebook (incluyendo Instagram, Messenger y WhatsApp), Twitter y YouTube (propiedad de Google)– cotizan en bolsa. Deben cumplir con su responsabilidad hacia la sociedad y, al mismo tiempo, mantener su responsabilidad fiduciaria hacia los accionistas, todo ello mientras navegan por una compleja red de jurisdicciones, idiomas y normas culturales. Esto no es en absoluto una excusa para la inacción o la falta de responsabilidad. Más bien ilustra las necesidades de competencia para el acceso de una amplia gama de interesados y la dinámica que debe informar las estructuras de gobernanza en la era digital.
Consideraciones sobre la gobernanza de la Plataforma Mundial
Las realidades de escala, tecnología y economía continuarán desafiando los esfuerzos por aplicar marcos de gobernanza prácticos y eficaces. A continuación, se presentan algunas ideas que merecen un examen más a fondo desde la perspectiva de la gobernanza.
Mecanismos seguros de intercambio de datos relacionados con las amenazas
Seguiremos viendo cómo los malos actores militarizan la naturaleza abierta de Internet para desestabilizar la democracia y los gobiernos, sembrar o reprimir la disidencia y/o influir en las elecciones, los políticos y las personas[7]. También veremos cómo ejércitos humanos (troll) y bots continúan movilizándose para sembrar y amplificar la desinformación, coordinar acciones a través de múltiples cuentas y utilizar «vacíos de datos» (Golebiewski y boyd 2018) y otros métodos para jugar con algoritmos de tendencias y clasificación y forzar el ingreso de sus mensajes en la conversación pública.
Como hemos visto, este comportamiento ocurre típicamente a través de múltiples plataformas simultáneamente. Un aumento repentino en Twitter del número y la actividad de las cuentas con nombres similares en una región determinada puede ser un precursor de una campaña, fenómeno que también podría estar ocurriendo simultáneamente en Facebook u otra red social.
Pero, al igual que en el mundo de la seguridad cibernética, las redes sociales están limitadas en cuanto a la medida en que pueden compartir este tipo de información entre sí. Esto se debe en parte a la falta de mecanismos de confianza y de intercambio entre los competidores, pero, según Chris Riley, «también es difícil saber qué compartir para que otra plataforma pueda responder a una posible amenaza sin violar accidentalmente las leyes de privacidad o antimonopolio». En efecto, esta limitación crea una ventaja asimétrica para los malos actores, que podría mitigarse potencialmente si las plataformas de redes sociales tuvieran una forma segura y confiable de trabajar juntos.
Validación de contenidos de terceros
Un enfoque que se ha debatido en los círculos de políticas es la idea de constituir instituciones de terceros para validar el contenido, en lugar de que las plataformas de redes sociales sigan gestionando este proceso. La validación podría ser responsabilidad de una asociación industrial no partidista o de un organismo gubernamental, dejando que las plataformas centren sus recursos en el comportamiento de las cuentas, que es, en términos generales, menos subjetivo y más manejable que el contenido.
Visualización de los retiros contenido en contexto
La protesta por la decisión de Facebook en 2016 de eliminar la imagen de la «Chica Napalm» de su plataforma ilustra por qué es tan importante ver la eliminación de contenidos no en forma aislada sino en contexto. Mirarlos en contexto requeriría entender la razón de la eliminación del contenido: si fue una decisión puramente automatizada o influenciada por el ser humano, las políticas según las cuales la plataforma tomó esa decisión, la velocidad con la que se llevó a cabo y el proceso de apelación disponible. Por muy difíciles y noticiosos que puedan ser a veces los retiros de contenido, no es productivo ni sostenible considerarlos de manera aislada. Más bien, las estructuras de gobernanza deberían examinar el compromiso de la organización con la responsabilidad a lo largo del tiempo, como se pone de manifiesto en el proceso, la política, la asignación de recursos y la transparencia.
Conclusión
Al examinar los marcos de gobernanza para abordar las cuestiones presentadas por las redes sociales, también debemos considerar sus repercusiones en los ecosistemas empresariales y sociales más amplios y, en la medida de lo posible, planificar la aparición de tecnologías que presentarán nuevos desafíos y amenazas en el futuro. Estos planes requerirán cierta flexibilidad, pero esa flexibilidad es fundamental para garantizar que permanezcamos a la altura de la tarea de combatir la desinformación, proteger los derechos humanos y asegurar la democracia. Sea cual sea el camino que elijamos, una cosa está clara: los precedentes de la gobernanza digital mundial que hoy en día establecemos para las redes sociales nos afectarán, individual y colectivamente, incluso en un futuro lejano.
[1] Véanse las declaraciones de misión de Facebook, Twitter y YouTube, respectivamente, en https://investor.fb.com/resources/default.aspx, https://investor.twitterinc.com/contact/faq/default.aspx y http://www.youtube.com/about/.
[2] Véase http://www.theguardian.com/news/series/cambridge-analytica-files.
[3] Véase http://www.christchurchcall.com/.
[4] Véase https://newsroom.fb.com/company-info/.
[5] Todas las citas de C. Piovesan de la entrevista telefónica realizada por el autor, 10 de septiembre de 2019.
[6] Todas las citas de C. Riley de una reunión con el autor el 6 de agosto de 2019, San Francisco, CA.
[7] Véase https://datasociety.net/research/media-manipulation/.
Obras citadas
Golebiewski, Michael y Danah Boyd. 2018. «Vacíos de datos»: Donde los datos faltantes pueden ser fácilmente explotados.» Data & Society, 11 de mayo. https://datasociety.net/output/data-voids-where-missing-data-can-easily-be-exploited/.
Hansen, Espen Egil. 2016. «Querido Mark. Te escribo para informarte que no cumpliré con tu requerimiento de retirar esta foto.» Aftenposten, 8 de septiembre. http://www.aftenposten.no/meninger/kommentar/i/G892Q/. «Querido Mark, estoy escribiendo esto para informarte que no cumpliré con tu requerimiento de retirar esta foto.
Harwell, Drew. 2019. «Los videos falsos de Pelosi, disminuidos para hacerla parecer borracha, se difundieron en las redes sociales». The Washington Post, 24 de mayo. http://www.washingtonpost.com/technology/2019/05/23/faked-pelosi-videos-slowed-make-her-appear-drunk-spread-across-social-media/?noredirect=on.
Levin, Sam, Julia Carrie Wong y Luke Harding. 2016. «Facebook se retira de la censura de la ‘chica del napalm’ y reintroduce la foto». The Guardian, 9 de septiembre. http://www.theguardian.com/technology/2016/sep/09/facebook-reinstates-napalm-girl-photo.
Mozur, Paul. 2018. «Un genocidio incitado en Facebook, con mensajes de los militares de Myanmar». The New York Times, 15 de octubre. http://www.nytimes.com/2018/10/15/technology/myanmar-facebook-genocide.html.
Newton, Casey. 2019. «The Trauma Floor»: Las vidas secretas de los moderadores de Facebook en América.» The Verge, 25 de febrero. http://www.theverge.com/2019/2/25/18229714/cognizant-facebook-content-moderator-interviews-trauma-working-conditions-arizona.
O’Sullivan, Donie. 2019. «Cuando ver ya no es creer. Dentro de la carrera del Pentágono contra los videos de engaño profundo». CNN Business. http://www.cnn.com/interactive/2019/01/business/pentagons-race-against-deepfakes/.
Weber, Lauren y Deepa Seetharaman. 2017. «El peor trabajo en tecnología»: Mirar la depravación humana para mantenerla fuera de Facebook». The Wall Street Journal, 27 de diciembre. http://www.wsj.com/articles/the-worst-job-in-technology-staring-at-human-depravity-to-keep-it-off-facebook-1514398398.
Zhao, Jieyu, Tianlu Wang, Mark Yatskar, Vicente Ordóñez y Kai-Wei Chang. 2017. «A los hombres también les gusta ir de compras: Reducing Gender Bias Amplification using Corpus-level Constraints». arXiv.org, 29 de julio. https://arxiv.org/pdf/1707.09457.pdf.
Las opiniones expresadas en este artículo/multimedia son las de su(s) autor(es) y no reflejan necesariamente los puntos de vista del CIGI o de su Junta Directiva.
Sobre la autora
Susan Etlinger
Susan Etlinger es una becaria del CIGI y una experta en inteligencia artificial y grandes datos.
First published in English by the Centre for International Governance Innovation, copyright 2019.
Acerca de Data.Democracia
Data.Democracia es una iniciativa para mejorar la relación entre democracia y tecnología. La traducción de los ensayos de la colección “Models for Platforms Governance” constituye un esfuerzo de difusión para pensar en políticas públicas tecnológicas colaborativas, internacionalmente coordinadas y con base local.
Data.Democracia 