Los moderadores voluntarios de Stack Overflow inhabilitan las herramientas por una nueva política secreta que obstruye la eliminación de la IA

Varios moderadores de Stack Overflow han declarado una "huelga de moderación general" para protestar por haber recibido instrucciones de no eliminar el contenido generado por IA "fuera de circunstancias extremadamente limitadas".

Los dos temas clave son, en primer lugar, que los moderadores se sienten incapaces de desempeñar su función de control de calidad de manera eficaz debido a la nueva política; y segundo, que la política les ha sido impuesta sin la debida consulta.

"A los moderadores ya no se les permite eliminar las respuestas generadas por IA sobre la base de ser generadas por IA, fuera de circunstancias extremadamente limitadas. Esto da como resultado que se permita efectivamente que casi todas las respuestas generadas por IA se publiquen libremente, independientemente del consenso establecido por la comunidad sobre tales contenido", dijeron los llamativos moderadores en una carta abierta.

"Creemos profundamente en la misión principal de la red Stack Exchange: proporcionar un depósito de información de alta calidad en forma de preguntas y respuestas, y las acciones recientes tomadas por Stack Overflow, Inc. son directamente dañinas para ese objetivo". agregaron.

El sitio sigue funcionando, pero es probable que aumente el volumen de spam y contenido no marcado, especialmente porque una herramienta llamada SmokeDetector, desarrollada por una red de voluntarios llamada Charcoal para StackOverflow para detectar spam, también dejó de funcionar. "Atención: Charcoal está participando en la huelga de toda la red, por lo que permanecerá cerrado hasta que se elimine esta política de IA", decía un aviso en un hilo de discusión del sitio.

DevClass habló con la moderadora residente en Noruega, Zoe, quien se encuentra entre los signatarios. "Hasta ahora hay 15/24 mods activos en SO (si he contado correctamente) que están oficialmente en huelga, y el resto simplemente no tiene la oportunidad de mantenerse al día con los volúmenes de bandera", nos dijo.

El trasfondo es que StackOverflow parece estar luchando por entender el impacto de las herramientas de IA como GitHub Copilot y ChatGPT en su sitio de preguntas y respuestas. El tráfico ha caído. La reacción inicial de la compañía fue prohibir el uso de ChatGPT para publicar respuestas de desbordamiento de pila a través de una "política temporal", con la aprobación de la comunidad, pero una publicación oficial del personal también afirma que "hemos decidido que no hay una política general en toda la red con respecto a prohibir ChatGPT u otro contenido generado por IA es necesario o útil en este momento". Existe una distinción entre Stack Overflow, el sitio para desarrolladores, y Stack Exchange, una familia de sitios que cubren una amplia gama de temas diferentes, aunque Stack Overflow es con mucho el más ocupado.

La semana pasada, el director ejecutivo, Prashanth Chandrasekar, publicó una publicación positiva sobre el papel de la IA en Stack Overflow y dijo que "el surgimiento de GenAI es una gran oportunidad para Stack. Aproximadamente el 10 % de nuestra empresa está trabajando en características y aplicaciones que aprovechan GenAI y que tienen el potencial de aumentar el compromiso ." Chandrasekar escribió sobre tener "la IA y la comunidad en el centro"; pero las acciones de los moderadores sugieren que el aspecto comunitario está actualmente en duda.

El desencadenante de la crisis actual fue una instrucción el lunes de la semana pasada (un día festivo) para los moderadores de Stack Overflow en un foro oficial pero privado: "Se informó a los moderadores, a través de mensajes de chat anclados en varias salas de moderadores (método no normal), para ver una publicación en el equipo de moderadores que instruía a todos los moderadores a dejar de usar detectores de IA (como se describe anteriormente) para tomar medidas de moderación", dijo una publicación. Los detalles de la instrucción no son públicos. El vicepresidente de la comunidad, Philippe Beaudette, publicó que "el contenido generado por IA no se identifica correctamente en toda la red", que "el potencial de falsos positivos es muy alto" y "la evidencia interna sugiere fuertemente que la aplicación excesiva de suspensiones para el contenido generado por IA puede estar rechazando una gran cantidad de contribuyentes legítimos al sitio". Dijo que se había pedido a los moderadores que "aplicaran un estándar de evidencia muy estricto para determinar si una publicación fue creada por IA al decidir suspender a un usuario". Sin embargo, los moderadores afirman que una descripción de la política publicada por Beaudette "difiere mucho de la guía de Teams... que no podemos compartir públicamente".

Zoe nos dijo que "la versión pública pasa por alto la parte en la que se les dijo a los moderadores que dejaran de suspender por contenido sospechoso de GPT y varios otros detalles". También dijo que la falta de confiabilidad de los detectores automáticos de IA es bien conocida y aceptada, pero que "la mayoría de nuestros sistemas de detección no dependen de los detectores de IA, precisamente porque no son confiables". Nos dijo que "el bit que salta de 'los detectores GPT tienen un sesgo' a 'una cantidad significativa de suspensiones es incorrecto, por lo que estamos prohibiendo de manera efectiva todas las formas de detectar contenido de IA', mientras que solo mostramos evidencia del sesgo del detector y no sesgo de suspensión/tasas de falsos positivos, ha sido cuestionado fuertemente".

En la práctica, explicó, la aplicación de la política de ChatGPT se ha guiado por una combinación de patrones de comportamiento del usuario combinados con otras técnicas. "En una gran cantidad de discusiones extensas con la compañía, no hemos podido obtener ningún dato de ellos que respalde que las tasas de falsos positivos de los detectores hayan tenido algún impacto en las suspensiones", dijo.

Los moderadores son voluntarios y están más preocupados por la calidad del contenido que por el nivel de tráfico del sitio, ya que "generalmente el tráfico es algo que se considera un problema de la empresa", dijo Zoe.

La empresa estaba planeando un segundo cambio de política que no es público, pero que, según los moderadores, "tiene el potencial de facilitar niveles de abuso sin precedentes". Este segundo cambio (nota al pie de página 3) se ha "retrasado indefinidamente", posiblemente como resultado del rechazo del moderador.

El problema es complejo, pero vale la pena señalar que la política que prohíbe ChatGPT ha sido muy votada por la comunidad (+3677 en el momento de escribir este artículo), lo que sugiere que los miembros más activos de Stack Overflow desconfían de las respuestas generadas por IA.

En un comunicado enviado a Dev Class, Beaudette de Stack Overflow nos dijo:

"Un pequeño número de moderadores (11 %) en la red de Stack Overflow ha dejado de participar en varias actividades, incluida la moderación de contenido. La razón principal de esta acción es la insatisfacción con nuestra posición sobre las herramientas de detección con respecto al contenido generado por IA.

"Stack Overflow realizó un análisis y las herramientas de detección de ChatGPT que los moderadores usaban anteriormente tienen una tasa alarmantemente alta de falsos positivos. El uso de estas herramientas se correlacionó con un aumento dramático en las suspensiones de usuarios con poca o ninguna contribución previa de contenido; personas con preguntas originales y las respuestas fueron suspendidas sumariamente de participar en la plataforma. Estas suspensiones innecesarias y su gran impacto en los nuevos usuarios van en contra de nuestra misión y tienen un impacto negativo en nuestra comunidad.

"Respetamos nuestra decisión de exigir que los moderadores dejen de usar las herramientas utilizadas anteriormente. Continuaremos buscando alternativas y estamos comprometidos con las pruebas rápidas de esas herramientas.

"Nuestros moderadores han servido a esta comunidad durante muchos años y apreciamos sus décadas de servicio colectivo. Estamos seguros de que encontraremos un camino a seguir. Lamentamos que las acciones hayan progresado hasta este punto, y el equipo de gestión de la comunidad está evaluando el actual situación mientras trabajamos arduamente para estabilizar las cosas a corto plazo", agregó.