Navegando las Capas de la Tecnología: ¿Cómo, cuándo y dónde deberíamos moderar contenido?

Cuando los debates sobre la moderación de contenido se tornan hacia lo técnico, tendemos a escuchar discusiones sobre las capas funcionales o “pila tecnológica”. Es importante entender cómo el diseño de la tecnología también nos muestra dónde reside el poder.

Por Joan Donovan, 28 de Octubre de 2019. Traducción realizada por JJ Martínez Layuno, co-capitán de Data.Democracia, bajo autorización de CIGI.

El sábado 3 de agosto de 2019, un hombre armado abrió fuego en un Walmart en El Paso, Texas, matando a 22 personas e hiriendo a 27 antes de ser detenido por la policía. A medida que se difundió la noticia del ataque, también lo hizo un manifiesto de supremacía blanca, supuestamente escrito por el tirador y subido horas antes del tiroteo a un foro anónimo, 8chan (Harwell 2019b). Este documento se almancenó, reprodujo y amplió en otros foros y redes sociales, para finalmente llegar a la prensa. Se trataba del tercer tiroteo masivo vinculado al oasis extremista 8chan en seis meses, que siguió el mismo patrón que el tiroteo en la sinagoga de Poway, California, en abril y el tiroteo en la mezquita de Christchurch, Nueva Zelandia, en marzo: publicar una monserga racista en 8chan; atacar a una población objetivo; e influir en los debates nacionales sobre raza y nación.

¿Qué hará falta para romper este circuito, donde los supremacistas blancos ven que la violencia es recompensada con la amplificación? Aunque la respuesta no es sencilla, hay acciones técnicas y éticas disponibles.

Después del ataque donde un supremacista blanco embistió a manifestantes con un automóvil en Charlottesville, Virginia, en 2017, las empresas como Facebook, Twitter y YouTube comenzaron a despertar al hecho de que las plataformas son más que una simple reserva de contenido. Las plataformas son parte del campo de batalla sobre corazones y mentes, y deben coordinarse para detener la amplificación de la supremacía blanca a través de sus diversos servicios. Los grupos de defensa, como Change the Terms [1], están guiando a las empresas dueñas de las plataformas para estandarizar y hacer cumplir las políticas de moderación de contenidos sobre la incitación al odio.

Sim embargo ¿qué sucede con el contenido que no se origina en las principales plataformas? ¿Cómo se debería responsabilizar a los sitios web con contenido extremista y de supremacía blanca, y a las redes sociales, que son utilizadas como arma para amplificar el contenido de odio?

Tras el ataque de El Paso, el fundador original de 8chan ha declarado repetidamente que creía que el sitio debía ser cerrado (citado en Harwell 2019a), sin embargo, él ya no es el propietario. El fracaso a largo plazo para moderar 8chan llevó a una cultura de fomento de la violencia masiva, el hostigamiento y una serie de comportamientos depravados. Junto con un profundo compromiso con el anonimato, el actual propietario de 8chan se resiste a la moderación por una cuestión de principios, y rastrear el contenido hasta quien lo posteó originalmente es casi imposible. Cuanto más atroz es el contenido, más circula. 8chan, entre otros sitios web extremistas, también contribuyó a la organización de la marcha por la Unidad de la Derecha en Charlottesville, donde Heather Heyer fue asesinada en el atentado automovilístico de 2017 y donde muchos otros resultaron heridos.

Después de Charlottesville, las empresas se enfrentaron al papel que desempeñaron en el apoyo a los supremacistas blancos que se organizaban en línea (Robertson 2017). Tras el ataque en Charlottesville y otro posterior en Pittsburgh en octubre de 2018, en el que un hombre armado abrió fuego contra la sinagoga “Árbol de la Vida”, se produjo una ola de bloqueo y de denegación de servicio por parte de las empresas (Koebler 2018; Lorenz 2018), que abarcó empresas de servicios en la nube (Liptak 2018), registradores de dominios (Romano 2017), tiendas de aplicaciones (O’Connor 2017) y proveedores de servicios de pago (Terdiman 2017). Mientras algunos debaten la causa y las consecuencias de desterrar a determinados individuos de extrema derecha de las redes sociales, es necesario saber más sobre cómo eliminar y limitar la propagación de los sitios web extremistas y de supremacía blanca (Nouri, Lorenzo-Dus y Watkin 2019).

Los investigadores también quieren entender la responsabilidad de las corporaciones tecnológicas que actúan como infraestructura que permite a los extremistas conectarse entre sí e incitar a la violencia. Las decisiones a nivel corporativo por parte de las dueñas de las redes sociales sirven –por ahora– como moderación de contenido a gran escala en tiempos de crisis, pero ¿es la denegación de servicios por parte de las empresas una forma sostenible de mitigar la organización de los supremacistas blancos en línea?

El 5 de agosto de 2019, un día después de que dos tiroteos masivos sacudieran la nación, Cloudflare, una red de distribución de contenidos, anunció la terminación del servicio para 8chan a través de una entrada de blog escrita por el CEO Matthew Prince (2019). La decisión llegó después de años de presión de los activistas. “Cloudflare no es un gobierno”, escribe Prince, afirmando que el éxito de su empresa “no nos da la legitimidad política para tomar decisiones sobre qué contenido es bueno y malo” (ibíd.). Sin embargo, debido a la insuficiente investigación y política sobre cómo moderar lo inmoderable y la propagación de las ideologías extremistas, nos quedamos con preguntas abiertas sobre dónde debería ocurrir la moderación de contenidos en línea.

Figura 1: Moderación del contenido a través de las capas funcionales de la tecnología (tech stack o pila tecnológica)

Fuente: Donovan, 2019

Cuando los debates sobre la moderación del contenido se tornan hacia lo técnico, tendemos a escuchar mucha jerga sobre las capas funcionales o “pila tecnológica” (Figura 1). Es importante entender cómo el diseño de la tecnología también nos muestra dónde reside el poder.

La mayoría de los debates sobre la moderación de los contenidos giran en torno a las políticas de cada sitio web para una participación adecuada (nivel 1) y a las condiciones de servicio de las principales plataformas (nivel 2). Por ejemplo, en el nivel 1, un foro dedicado a los pasatiempos o el programa de televisión favorito de sus usuarios puede tener una política contra el envío de SPAM o la mención de temas políticos. Si los usuarios no siguen las reglas, pueden recibir una advertencia o ser bloqueados de la plataforma.

En el nivel 2, hay un gran debate sobre cómo las grandes corporaciones determinan la disponibilidad y la posibilidad de descubrir la información. Si bien las plataformas, los motores de búsqueda y las aplicaciones tienen políticas contra el acoso, el odio y la incitación a la violencia, es difícil hacer cumplir esas políticas dada la enorme escala del contenido generado por los usuarios. En el nuevo libro de Sarah Roberts, Behind the Screen: Content Moderation in the Shadows of Social Media (2019), se documenta cómo una nueva fuerza de trabajo tiene la tarea de eliminar diariamente contenidos con violencia y pornografía horrendos, mientras se les infravalora laboralmente, a pesar de su papel clave trabajando tras bambalinas en las grandes corporaciones tecnológicas. Debido a la moderación del contenido comercial llevada a cabo por estos trabajadores, 8chan y otros sitios extremistas no pueden depender de las plataformas sociales para distribuir sus productos.

Para los proveedores de servicios en la nube, en el nivel 3, la moderación de contenidos se produce en los casos en que los sitios albergan contenidos robados o ilegales. Los sitios web con contenido cargado, como 8chan, a menudo enmascaran o esconden la ubicación de sus servidores para evitar perder el hosting o servicio de “anfitrión”. No obstante, las medidas adoptadas por las empresas de servicios en la nube después de Charlottesville, desestabilizaron la capacidad de la denominada “Derecha Alternativa” para reagruparse rápidamente (Donovan, Lewis y Friedberg 2019).

En el nivel 4 de la pila tecnológica, las redes de entrega de contenido (en inglés CDN) ayudan a hacer coincidir las solicitudes de los usuarios con los servidores locales para reducir la tensión de la red y acelerar los sitios web. Las CDN proporcionan además protección contra los intentos de acceso malintencionados, como los ataques de denegación de servicio (DDoS) que inundan un servidor con tráfico falso. Sin la protección de las CDNs como Cloudflare o Azure (Microsoft), los sitios web se tornan vulnerables a los ataques políticos o con fines de lucro, tal como mostró el intento de fatigar a Github en 2018 (Kottler 2018) o el incidente de 2016 contra varios bancos de los Estados Unidos (Volz y Finkle 2016). Cloudflare, la CDN que apoyaba a 8chan, respondió negándose a continuar el servicio a 8chan. A pesar de los intentos de volver a estar en línea, 8chan no ha sido capaz de encontrar un nuevo CDN en este momento (Coldewey 2019).

Es difícil hacer cumplir estas políticas dada la enorme escala del contenido generado por los usuarios.

Después de Charlottesville, Google congeló el dominio de un sitio neo-nazi que organizó el evento y GoDaddy también rechazó seguir proporcionándole sus servicios (Belvedere 2017). En respuesta al ataque de El Paso, otra compañía está tomando medidas. Tucows, el registrador de dominios de 8chan, ha roto los lazos con el sitio web (Togoh 2019). Es raro ver decisiones sobre el contenido en el nivel 5 de la pila tecnológica, excepto en los casos de infracción de marcas, de listas negras de una empresa de malware o de una orden del gobierno.

En términos generales, los servicios en la nube, las CDN y los registradores de dominios se consideran la columna vertebral de la Internet, y los sitios en la web abierta dependen de su estabilidad, a nivel de infraestructura y también como servicios políticamente neutrales.

El nivel 6 es una historia diferente. Los proveedores de servicios de Internet (ISP) permiten el acceso a la web abierta y a las plataformas, pero estas empresas están en constante relación litigiosa con los consumidores y el Estado. Se ha visto que los ISP controlan selectivamente el acceso y reducen el ancho de banda a contenidos que les son rentables, como muestra la actual lucha por la neutralidad de la red. Mientras que la división entre las empresas que proporcionan la infraestructura para nuestros sistemas de comunicación y la Comisión Federal de Comunicaciones sigan sobrepasadas por el intenso nivel de lobby (West 2017), el gobierno federal y los gobiernos locales de los Estados Unidos siguen sin estar preparados para manejar la violencia de la supremacía blanca (Andone y Johnston 2017), las amenazas democráticas desde el extranjero (Nadler, Crain y Donovan 2018), la regulación de los gigantes tecnológicos (Lohr, Isaac y Popper 2019) o la propagación de los ataques con rescates en las ciudades de todo el país (Newman 2019). Sin embargo, aunque la mayoría de los proveedores de servicios de Internet sí bloquean los sitios web de piratería, hasta ahora no hemos visto que los proveedores de servicios de Internet de los Estados Unidos eliminen o bloqueen el acceso a contenidos extremistas o de supremacía blanca. Otros países, por ejemplo, Alemania, son un caso totalmente distinto, ya que no permiten la incitación al odio o la venta de parafernalia de supremacía blanca (Frosch, Elinson y Gurman 2019).

Por último, en el nivel 7, algunos gobiernos han puesto los sitios web en una lista negra y han ordenado a los registradores de dominios que los eliminen (Liptak 2008). Las instituciones y las empresas pueden bloquear el acceso a los sitios web en función de su contenido. Por ejemplo, una biblioteca bloqueará ciertos tipos de sitios web por razones de seguridad. En el caso de 8chan, mientras que el Presidente de los Estados Unidos Trump ha pedido a las fuerzas del orden que trabajen con las empresas para “marcar” ciertos posts y cuentas, el patrullaje predictivo tiene grandes inconvenientes (Munn 2018).

En todos los niveles las empresas se colocan en posiciones para hacer juicios de valor con respecto a la legitimidad del contenido, incluyendo quién debe tener acceso, cuándo y cómo.

En todos los niveles de la pila tecnológica, las empresas se colocan en posiciones para hacer juicios de valor con respecto a la legitimidad del contenido, incluyendo quién debe tener acceso, cuándo y cómo. En el caso de 8chan y la erupción de violencia premeditada, no basta con esperar a que un proveedor de servicios, como Cloudflare, determine cuándo se cruza una línea. Por desgracia, en este momento, una denegación corporativa de servicio es la única opción para desmantelar la infraestructura de comunicación de los extremistas y supremacistas blancos.

La ola de violencia ha mostrado a las empresas de tecnología que la comunicación y la coordinación fluyen en conjunto. Ahora que las corporaciones de tecnología están implicadas en actos de violencia masiva proporcionando y protegiendo foros para el discurso del odio, los CEOs están llamados apoyarse en sus principios éticos, y no sólo en sus términos de servicio.

La ola de violencia ha mostrado a las empresas de tecnología que la comunicación y la coordinación fluyen en conjunto. Ahora que las corporaciones de tecnología están implicadas en actos de violencia masiva proporcionando y protegiendo foros para el discurso del odio, los CEOs están llamados apoyarse en sus principios éticos, y no sólo en sus términos de servicio. Para aquellos preocupados por el abuso de sus productos, ahora es el momento de actuar de forma definitiva (Soltani 2019). Como sostiene Malkia Cyril (2017) de Media Justice, “La Internet abierta es el antídoto de la democracia contra el autoritarismo”. No es simplemente que las corporaciones puedan dar la espalda a las comunidades atrapadas en el punto de mira de su tecnología. Más allá de reaccionar a la violencia de la supremacía blanca, las corporaciones necesitan incorporar las preocupaciones de las comunidades objeto del acoso y el odio, diseñando tecnología que produzca la Web que queremos.

La regulación para frenar el contenido odioso en línea no puede comenzar y terminar con la gobernanza de la plataformas. Las plataformas forman parte de un ecosistema de medios de comunicación en línea más amplio, en el que las plataformas más grandes no sólo contribuyen a la difusión de contenidos de odio, sino que son en sí mismas un importante vector de ataque, cada vez más a medida que los supremacistas blancos utilizan las plataformas como armas para distribuir manifiestos racistas. Es imperativo que las políticas empresariales sean coherentes con la reglamentación de las expresiones de odio en muchos países. De lo contrario, la gobernanza empresarial seguirá siendo no sólo azarosa sino potencialmente peligrosa para quienes abogan por la eliminación de los contenidos de odio en línea. En efecto, incumplir la reglamentación del país con las leyes más estrictas sobre expresiones de odio, como Alemania, es el mejor camino a seguir para la moderación del contenido, hasta que se establezca una estrategia de gobernanza mundial.


[1] Ver http://www.changetheterms.org/.

Agradecimientos

Brian Friedberg, Ariel Herbert-Voss, Nicole Leaver y Vanessa Rhinesmith contribuyeron a la investigación de fondo para esta pieza.

Obras citadas

Andone, Dakin y Chuck Johnston. 2017. “Informe sobre el rally de Charlottesville culpa a la policía por la planificación, por no proteger al público.” CNN, 2 de diciembre. http://www.cnn.com/2017/12/01/us/charlottesville-riots-failures-review/index.html.

Belvedere, Matthew J. 2017. “CEO de GoDaddy: Arrancamos el sitio web neonazi Daily Stormer por incitar a la violencia”. CNBC, 15 de agosto. http://www.cnbc.com/2017/08/15/godaddy-ceo-we-booted-the-neo-nazi-daily-stormer-website-for-inciting-violence.html.

Coldewey, Devin. 2019. “El nuevo anfitrión de internet de 8chan fue lanzado de su propio anfitrión sólo horas más tarde.” Techcrunch, 5 de agosto. https://techcrunch.com/2019/08/05/8chans-new-internet-host-was-kicked-off-its-own-host-just-hours-later/.

Cyril, Malkia A. 2017. “El antídoto para el autoritarismo: Sin el internet abierto, los americanos pierden una herramienta esencial en la lucha contra la vigilancia masiva discriminatoria.” The Atlantic, 8 de mayo. http://www.theatlantic.com/technology/archive/2017/05/the-antidote-to-authoritarianism/525438/.

Donovan, Joan, Becca Lewis y Brian Friedberg. 2019. “Puertos paralelos: Cambio Sociotécnico de la Alt-Derecha a la Alt-Tech.” https://dx.doi.org/10.14361/9783839446706-004.

Frosch, Dan, Zusha Elinson y Sadie Gurman. 2019. “Los nacionalistas blancos desafían a los investigadores”. The Wall Street Journal, 5 de agosto. http://www.wsj.com/articles/shootings-highlight-law-enforcement-challenges-to-combating-domestic-terror-11564947769.

Harwell, Drew. 2019a. “Tres tiroteos masivos este año comenzaron con un odioso escrito en 8chan. Su fundador lo llama un refugio terrorista a plena vista. ” The Washington Post, 4 de agosto. https://beta.washingtonpost.com/technology/2019/08/04/three-mass-shootings-this-year-began-with-hateful-screed-chan-its-founder-calls-it-terrorist-refuge-plain-sight/.

———. 2019b. “8chan prometió seguir luchando, diciendo que su ‘latido es fuerte’. Luego una empresa de tecnología lo desconectó. ” The Washington Post, 5 de agosto. https://beta.washingtonpost.com/technology/2019/08/05/defiant-chan-vowed-fight-saying-its-heartbeat-is-strong-then-tech-firm-knocked-it-offline/.

Koebler, Jason. 2018. “Desplataformas de trabajo.” Vice, 10 de agosto. http://www.vice.com/en_us/article/bjbp9d/do-social-media-bans-work.

Kottler, Sam. 2018. “Informe del incidente DDoS del 28 de febrero”. GitHub (blog), 1 de marzo. https://github.blog/2018-03-01-ddos-incident-report/.

Liptak, Andrew. 2008. “Una ola de la lista de vigilancia, y el discurso desaparece”. The New York Times, 4 de marzo. http://www.nytimes.com/2008/03/04/us/04bar.html.

———. 2018. “Dos plataformas más han suspendido a Gab tras el tiroteo de Pittsburgh”. The Verge, 28 de octubre. http://www.theverge.com/2018/10/28/18034126/gab-social-network-stripe-joyent-deplatforming-hate-speech-pittsburgh-shooting.

Lohr, Steve, Mike Isaac y Nathaniel Popper. 2019. “Audiencias tecnológicas”: El Congreso se une para apuntar a Amazon, Apple, Facebook y Google”. The New York Times, 16 de julio. http://www.nytimes.com/2019/07/16/technology/big-tech-antitrust-hearing.html.

Lorenz, Taylor. 2018. “El sospechoso de Pittsburgh vivía en los rincones más oscuros de la web”. The Atlantic, 27 de octubre. http://www.theatlantic.com/technology/archive/2018/10/what-gab/574186/.

Munn, Nathan. 2018. “Esta compañía de policía predictiva compara su software con la policía de ‘ventanas rotas’.” Vice, 11 de junio. http://www.vice.com/en_us/article/d3k5pv/predpol-predictive-policing-broken-windows-theory-chicago-lucy-parsons.

Nadler, Anthony, Matthew Crain y Joan Donovan. 2018. Armando la Máquina de Influencia Digital: Los peligros políticos de la tecnología publicitaria en línea. 17 de octubre. Nueva York, NY: Instituto de Investigación de Datos y Sociedad. https://datasociety.net/wp-content/uploads/2018/10/DS_Digital_Influence_Machine.pdf.

Newman, Lily Hay. 2019. “El rescate llega a los tribunales de Georgia a medida que se extienden los ataques municipales”. Wired, 1 de julio. www.wired.com/story/ransomware-hits-georgia-courts-municipal-attacks-spread/.

Nouri, Lella, Nuria Lorenzo-Dus y Amy-Louise Watkin. 2019. “Siguiendo al Whack-a-Mole: La estrategia visual de Britain First de Facebook a Gab.” Red Mundial de Investigación sobre el Terrorismo y la Tecnología Documento No. 4. Londres, Reino Unido: Royal United Services Institute, 4 de julio. https://rusi.org/publication/other-publications/following-whack-mole-britain-firsts-visual-strategy-facebook-gab.

O’Connor, Clare. 2017. “Google deja caer a la favorita Gab de la Play Store mientras continúa la purga de discursos de odio en Internet”. Forbes, 18 de agosto. http://www.forbes.com/sites/clareoconnor/2017/08/18/google-drops-alt-right-favorite-gab-from-play-store-as-internet-hate-speech-purge-continues/#3cf6d11c61c5.

Prince, Matthew. 2019. “Terminando el servicio para 8Chan.” Cloudflare (blog), 5 de agosto. https://blog.cloudflare.com/terminating-service-for-8chan/.

Roberts, Sarah. 2019. Detrás de la pantalla: Moderación de contenidos en las sombras de los medios sociales. New Haven, CT: Yale University Press.

Robertson, Adi. 2017. “Hace dos meses, Internet intentó desterrar a los nazis. Nadie sabe si funcionó”. The Verge, 9 de octubre. http://www.theverge.com/2017/10/9/16446920/internet-ban-nazis-white-supremacist-hosting-providers-charlottesville.

Romano, Aja. 2017. “El sitio neo-nazi Daily Stormer resurge con dominio ruso tras las prohibiciones de Google y GoDaddy”. Vox, 16 de agosto. http://www.vox.com/culture/2017/8/16/16156210/daily-stormer-russian-domain-godaddy-google-ban.

Soltani, Ashkan. 2019. “Prueba de Abusabilidad”: Considerando las formas en que su tecnología podría ser usada para el daño”. USENIX.org, 28 de enero. http://www.usenix.org/node/226468.

Terdiman, Daniel. 2017. “Después de Charlottesville, PayPal dice que no hará negocios con grupos de odio”. Fast Company, 15 de agosto. http://www.fastcompany.com/40454274/after-charlottesville-paypal-says-it-wont-do-business-with-hate-groups.

Togoh, Isabel. 2019. “Tucows deja caer el registro del dominio 8chan después del tiroteo de El Paso”. Forbes, 5 de agosto. http://www.forbes.com/sites/isabeltogoh/2019/08/05/tucows-drops-8chan-domain-registration-after-el-paso-shooting/#54ec871affbf.

Volz, Dustin y Jim Finkle. 2016. “EE.UU. acusa a los iraníes de piratear docenas de bancos, la presa de Nueva York”. Reuters, 24 de marzo. http://www.reuters.com/article/us-usa-iran-cyber/us-indicts-iranians-for-hacking-dozens-of-banks-new-york-dam-idUSKCN0WQ1JF.

West, Geoff. 2017. “El dinero fluye hacia el debate de la neutralidad de la red antes de la votación de la FCC”. Center for Responsive Politics, 14 de diciembre. http://www.opensecrets.org/news/2017/12/money-flows-into-net-neutrality-debate-ahead-of-fcc-vote/.

Las opiniones expresadas en este artículo/multimedia son las de su(s) autor(es) y no reflejan necesariamente los puntos de vista del CIGI o de su Junta Directiva.

Sobre la autora

Joan Donovan

Joan Donovan es la directora e investigadora principal del Proyecto de Investigación de Tecnología y Cambio Social del Centro Shorenstein de Medios de Comunicación, Política y Política Pública de la Escuela Kennedy de Harvard. Los intereses de investigación y enseñanza de Joan se centran en la manipulación de los medios, los efectos de las campañas de desinformación y los movimientos adversarios de los medios.

First published in English by the Centre for International Governance Innovation, copyright 2019.

Acerca de Data.Democracia

Data.Democracia es una iniciativa para mejorar la relación entre democracia y tecnología. La traducción de los ensayos de la colección “Models for Platforms Governance” constituye un esfuerzo de difusión para pensar en políticas públicas tecnológicas colaborativas, internacionalmente coordinadas y con base local.

Responder

Introduce tus datos o haz clic en un icono para iniciar sesión:

Logo de WordPress.com

Estás comentando usando tu cuenta de WordPress.com. Salir /  Cambiar )

Google photo

Estás comentando usando tu cuenta de Google. Salir /  Cambiar )

Imagen de Twitter

Estás comentando usando tu cuenta de Twitter. Salir /  Cambiar )

Foto de Facebook

Estás comentando usando tu cuenta de Facebook. Salir /  Cambiar )

Conectando a %s

A %d blogueros les gusta esto: