Los artículos científicos engañosos cada vez más extendidos y cada vez más comunes que se han publicado en las revistas más prestigiosas demuestran que el proceso de revisión científica por pares ya tiene poca o ninguna credibilidad.
‘Confíe en la ciencia‘. Éste es el mantra de los tiranos tecnocráticos. El grito de guerra de la policía del pensamiento orwelliano. El mandato de los censores modernos que buscarían librar al mercado de ideas de toda oposición.
Si estás leyendo estas palabras, ya lo sabes. O deberías saber esto, dado que la razón por la que me censuraron en ThemTube allá por 2021 fue porque me atreví a producir un podcast sobre filosofía de la ciencia que buscaba interrogar y desmantelar el mandato de “¡Confía en la ciencia!”.
Vayamos al grano: en esta era post-COVID, cualquiera que tenga la cabeza bien puesta sabe que “¡Confía en la ciencia!”. es una tontería estúpida, infundada y que se refuta a sí misma que es esgrimida por los autoritarios como garrote contra la disidencia política.
Pero por más estúpida que sea la frase “Confíe en la ciencia”, está a punto de volverse aún más estúpida.
¿Por qué? Porque en mayo surgió una historia que socava por completo cualquier fe equivocada que el paleto promedio que traga propaganda todavía albergaba sobre la confiabilidad de “la” ciencia y el proceso de revisión por pares supuestamente autocorrectivo sobre el que se basa “la” ciencia.
Abróchense el cinturón, amigos. Esta historia es una locura. Y apunta a un futuro tan terriblemente distópico que ni siquiera el mensaje “¡Confía en la ciencia!” los matones podrán defenderlo.
El viejo problema
¿Recuerda el “asunto Sokal”?
Quizás no lo conozcas por su nombre, pero apuesto a que escuchaste la historia. En 1996, Alan Sokal era profesor de física en la Universidad de Nueva York y en el University College de Londres y estaba, en sus propias palabras , “preocupado por una aparente disminución de los estándares de rigor en ciertos ámbitos de las humanidades académicas”. Sin embargo, en lugar de escribir un tratado académico sobre sus preocupaciones, decidió demostrar el problema de una manera provocativa (e hilarante): falsificando una revista de humanidades revisada por pares.
Sokal cuenta:
Así que, para poner a prueba los estándares intelectuales prevalecientes, decidí probar un experimento modesto (aunque ciertamente incontrolado): ¿una importante revista norteamericana de estudios culturales –cuyo colectivo editorial incluye a luminarias como Fredric Jameson y Andrew Ross– publicaría un artículo generosamente salado? con tonterías si (a) sonaba bien y (b) halagaba las ideas preconcebidas ideológicas de los editores?
Como era de esperar, la respuesta a esa pregunta fue un enfático “¡Sí!”
Específicamente, Sokal escribió “ Transgresión de los límites: hacia una hermenéutica transformadora de la gravedad cuántica ”, una tontería perfectamente incomprensible que busca deconstruir “la larga hegemonía posterior a la Ilustración sobre la perspectiva intelectual occidental” criticando el lenguaje mismo de la ciencia: las matemáticas. y lógica – y su “contaminación” por fuerzas “capitalistas, patriarcales y militaristas”.
“Por lo tanto, una ciencia liberadora no puede estar completa sin una revisión profunda del canon de las matemáticas”, concluye el artículo satírico de Sokal antes de conceder: “Hasta ahora no existe tal matemática emancipadora, y sólo podemos especular sobre su contenido final”.
En el camino, se involucra en una discusión que suena impresionante pero completamente irrelevante sobre conceptos esotéricos de la física teórica, incluyendo “la invariancia de la ecuación de campo de Einstein bajo difeomorfismos no lineales del espacio-tiempo” y “si la teoría de cuerdas, el tejido espacio-tiempo o campos morfogenéticos”, proporcionarán en última instancia la respuesta al “problema central no resuelto de la física teórica”.
En su confesión posterior al engaño, “ Un físico experimenta con estudios culturales ”, Sokal señala que deliberadamente salpicó el artículo con tontas tonterías pseudocientíficas “para que cualquier físico o matemático competente (o estudiante universitario en física o matemáticas) se diera cuenta de que se trata de un parodia.”
Entonces, ¿por qué el artículo pasó la revisión por pares? En opinión de Sokal:
Es comprensible que los editores de Social Text no hayan podido evaluar críticamente los aspectos técnicos de mi artículo (que es exactamente la razón por la que deberían haber consultado a un científico). Lo que es más sorprendente es la facilidad con la que aceptaron mi implicación de que la búsqueda de la verdad en la ciencia debe estar subordinada a una agenda política, y lo ajenos que estaban a la falta de lógica general del artículo.
Acariciando los egos de los editores de Social Text al sugerir que la física era demasiado importante para dejarla en manos de científicos reales y que en su lugar debía complementarse con una teoría crítica que reflejara ideologías feministas y anticapitalistas, el artículo sin sentido fue, naturalmente, aceptado como tal y debidamente impresa en la edición primavera/verano de 1996 de Social Text sobre “Science Wars”.
Lamentablemente, este engaño no avergonzó lo suficiente a los editores y revisores de las revistas de humanidades para que hicieran un mejor trabajo. De lo contrario. Esto llevó, durante las décadas siguientes, a que se publicaran varios artículos engañosos similares (y cada vez más ridículos).
¿Recuerda el “asunto de los estudios de quejas”? En ese engaño tipo Sokal, que tuvo lugar durante 2017 y 2018, tres autores distintos (Peter Boghossian, James A. Lindsay y Helen Pluckrose) escribieron no uno sino veinte artículos distintos para demostrar que nada había mejorado desde la época del engaño de Sokal. táctica original. En todo caso, el desarrollo de la teoría social crítica y los llamados “estudios de agravios” en realidad habían empeorado las cosas en las dos décadas intermedias.
Para llevar realmente el experimento al límite , el trío se aseguró de que “cada artículo comenzara con algo absurdo o profundamente poco ético (o ambas cosas) que queríamos transmitir o concluir”.
Algunos ejemplos de artículos que no fueron simplemente presentados durante esta incursión en el mundo académico incluyeron:
- “ Reacciones humanas a la cultura de la violación y la performatividad queer en parques para perros urbanos en Portland, Oregón ”, un artículo publicado en Gender, Place and Culture que pretendía abordar “cuestiones sobre la geografía humana y las geografías de la sexualidad” mediante la observación del comportamiento de los perros y los dueños de perros en parques para perros para “determinar cuándo una incidencia de joroba con perros califica como violación”;
- “ When The Joke Is On You: A Feminist Perspective On How Positionality Influences Satire ”, un artículo aceptado para publicación por Hypatia , una importante revista de filosofía feminista, que sostiene que los artículos académicos fraudulentos son en realidad una “forma sofisticada pero vacía de privilegios”. preservar el rechazo epistémico que busca resolver el malestar epistémico imitando ciertas ideas de manera convincente para ofrecerlas en ridículo a otros que son igualmente epistémicamente proteccionistas”;
- “ Our Struggle Is My Struggle: Solidarity Feminism As An Intersectional Reply To Neoliberal and Choice Feminism ”, un artículo aceptado para publicación por Affilia: Feminist Inquiry and Social Work que –los farsantes admitieron más tarde– estaba “basado en una reescritura de aproximadamente 3.600 palabras del Capítulo 12 del Volumen 1 de Mein Kampf , e implicó cambiar la invectiva antijudía de Hitler por la invectiva antipatriarcal del feminazi-ismo moderno; y,
- “ El pene conceptual como construcción social ”, publicado en Cogent Social Sciences , que sostiene… bueno, te dejaré leerlo tú mismo.
Por supuesto, todos estos artículos fueron retractados o rechazados para su publicación… una vez que los estafadores admitieron el engaño al Wall Street Journal . Fue sólo después de que el trío confesó que las revistas “respetadas” y “revisadas por pares” (guardianes de “la” ciencia) se dieron cuenta de que habían sido engañadas, lo que desató una tormenta de publicidad y lamentaciones públicas sobre el estado de la ciencia. las ciencias sociales.
“Pero por desgracia”, añaden los defensores de The Science, “todas las revistas se retractaron y repudiaron los artículos una vez que se descubrió que eran fraudulentos, lo que simplemente demuestra que la ciencia se autocorrige después de todo, ¿no es así? Y de todos modos, ¡los estafadores simplemente están revelando sus inseguridades de primera mano ! ¡Confíen en la ciencia, muchachos!
Pero entonces, ¿por qué artículos absurdos como “ Glaciares, género y ciencia: un marco de glaciología feminista para la investigación del cambio ambiental global ” (un artículo publicado en Progress in Human Geography que pide la construcción de “una glaciología feminista”) siguen publicandose? (Por si sirve de algo, ese documento aparentemente no fue un engaño… ¡pero podrías haberme engañado!)
Lo que estos engaños han demostrado de manera dramática es un punto que es bien conocido por los académicos que trabajan en el corazón de la fábrica académica desde hace algún tiempo: la revisión por pares, a pesar de las garantías del programa “¡Confíe en la ciencia!” multitud: no hay garantía de mérito científico.
Sí, los seres humanos normales que se ganan la vida en el libre mercado proporcionando productos o servicios útiles a sus compañeros miembros de la comunidad saben desde hace mucho tiempo que no todo está bien en la tierra de “la” ciencia, donde cada vez más se compran -y Los investigadores pagados se ganan la vida buscando ayudas gubernamentales o vendiéndose al mejor postor corporativo.
Pero, y entiendo que les resultará difícil creerlo, por muy malo que sea todo esto, palidece en comparación con el nuevo problema que surgió hace dos meses.
El nuevo problema
Seguramente los artículos engañosos generados por humanos y publicados en revistas académicas “respetables” son el fondo del barril cuando se trata de “la” ciencia, ¿no es así?
No.
En 2005, un equipo de graduados del MIT creó ” SCIgen – An Automatic CS Paper Generator “, un programa que “genera trabajos de investigación aleatorios en Ciencias de la Computación, incluidos gráficos, figuras y citas”.
Slate hizo una exposición sobre el proyecto del MIT en 2014, en la que resumió: “Gracias a SCIgen, durante los últimos años, la palabrería escrita por computadora se ha publicado de forma rutinaria en revistas científicas y actas de congresos”.
Lo que debería ser doblemente impactante para aquellos que hasta ahora han confiado incondicionalmente en “la” ciencia es que entre 2005 y la exposición de Slate en 2014, usuarios sin escrúpulos de SCIgen ya habían logrado que 120 de sus galimatías generadas algorítmicamente se publicaran en revistas académicas.
Esta notable hazaña de engaño generó muchas quejas por parte de la comunidad científica y provocó que los comunicadores científicos derramaran galones de tinta (digital) escribiendo artículos de examen de conciencia sobre dónde falló la sagrada institución de la revisión por pares y cómo los académicos pueden trabajar juntos para corregir el error. nave y restaurar la fe pública en la institución de la ciencia.
Entonces, ¿todo este examen de conciencia mojigato resultó en el fin de la era de los artículos sin sentido?
No.
De hecho, un estudio de 2021 encontró que revistas académicas habían publicado la friolera de 243 artículos generados por SCIgen. De ellos, sólo 12 habían sido retractados y otros 34 habían sido eliminados silenciosamente. En otras palabras, incluso años después de que el problema fuera expuesto por primera vez, todavía había cientos de artículos sin retractación que saturaban el registro científico.
Pero si un programa informático de casi dos décadas de antigüedad para generar tonterías que suenan científicas suena un poco extraño frente a la era actual de modelos de lenguajes grandes dominada por ChatGPT, bueno…
Olvídese de los 243 documentos falsos generados por SCIgen. El mes pasado, el Wall Street Journal informó que Wiley, un incondicional de la industria editorial científica de 217 años, se estaba retractando de más de 11.300 artículos fraudulentos y cerrando 19 revistas.
Según el informe:
En los últimos dos años, Wiley se retractó de más de 11.300 artículos que parecían comprometidos, según un portavoz, y cerró cuatro revistas. No está solo: al menos otros dos editores se han retractado de cientos de artículos sospechosos cada uno. Varios otros han retirado grupos más pequeños de documentos malos.
Aunque este fraude a gran escala representa un pequeño porcentaje de los envíos a revistas, amenaza la legitimidad de la industria editorial académica de casi 30 mil millones de dólares y la credibilidad de la ciencia en su conjunto.
Ahora bien, el hecho de que las publicaciones académicas sean una industria de 30 mil millones de dólares debería dar la primera pista del hecho de que “la” ciencia no es la búsqueda imparcial de la verdad objetiva de la que los tiranos tecnocráticos quieren convencernos de que es. Pero la forma en que se engañó a esta industria desmiente un grado de desprecio por la búsqueda científica que resulta irritante incluso para aquellos que ya están familiarizados con La crisis de la ciencia .
Sin duda, no se trataba de una estafa sofisticada en la que bandas criminales bien informadas ajustaron cuidadosamente un algoritmo de inteligencia artificial para engañar hábilmente a los revisores académicos. En cambio, los operadores de estas fábricas de papel falsas emplearon lo que un investigador bautizó como ” el sándwich AI Gobbledygook “, un algoritmo muy simple para transformar un artículo científico genuino en una pieza de galimatías con sonido científico que es (aparentemente) lo suficientemente buena como para pasar la revisión por pares. .
Así es como se hace el sándwich.
Primero, se roba un artículo científico genuino y se cambia su título para relacionarlo con un tema de investigación popular. Luego, se elabora una sección técnica a partir de fórmulas bursátiles y definiciones estándar. A continuación, se agrega una sección de resultados que pretende mostrar cómo se ha aplicado la IA a un conjunto de datos públicos para arrojar nueva luz sobre el tema que se examina. Finalmente, se adjuntan algunas citas irrelevantes para darle al artículo una apariencia de credibilidad académica.
¡Y ahí lo tienes ! ¡El sándwich Gobbledygook está servido!
Lo interesante de esta estafa no es sólo que implica un algoritmo informático que utiliza un modelo de lenguaje grande para generar alguna confusión superficialmente convincente, sino que se basa en el prestigio de la propia investigación de IA para luego publicar el artículo. “¡Hola chicos, la IA se ha utilizado para abordar un problema de una manera completamente nueva ! Mire los sorprendentes resultados”.
Vale la pena leer la historia de este escándalo en su totalidad, ya que plantea algunos puntos interesantes para reflexionar.
En primer lugar, el hecho de que al menos 11.000 (!) de estos artículos sin sentido hayan sido publicados indica que todo el proceso de “revisión por pares” es una broma.
Pero en segundo lugar, confirma lo que cualquiera que haya trabajado en, alrededor o cerca de la academia sabe desde hace mucho tiempo: de todos modos , nadie lee estas revistas. A ningún académico en activo le importa un comino cualquier nuevo estudio que se haya publicado en el Journal of East Mongolian Invertebrate Feminist Endicronology Studies Quarterly o en cualquier otro rincón oscuro de esta industria editorial de 30 mil millones de dólares. Estas revistas y los artículos galimatías que llenan sus páginas existen sólo para dar a los investigadores otro crédito de “publicación revisada por pares” para su CV académico.
Ahora, en caso de que piense que estoy exagerando el problema aquí, o en caso de que sospeche que estos artículos generados por AI Gobbledygook Sandwich podrían tener algún mérito científico después de todo, lo invito a reflexionar sobre esta historia:
Por supuesto, siga leyendo ese artículo y descubra todos los sórdidos detalles de cómo “una destacada revista científica” terminó publicando “una imagen generada por IA de una rata con genitales grandes junto con una serie de palabras sin sentido”. Pero en realidad, mírelo usted mismo y recuerde: ¡esto fue publicado en una destacada revista científica revisada por pares !
Uno debe preguntarse: ¿es esta “la ciencia” en la que debemos confiar? ¡Que alguien ponga al Dr. Fauci al teléfono!
Pero bueno, mira el lado positivo: no puede ser peor que esto, ¿verdad?
Quiero decir, seguramente hemos tocado fondo en este nadir académico, ¿no es así?
No es posible que tengamos aún menos razones para “confiar en la ciencia” en el futuro, ¿verdad?
El nuevo problema empeora aún más
Entonces, ¿crees que las revistas académicas “respetables” que publican artículos generados por AI Gobbledygook Sandwich son tan malas como parece?
Bueno, abróchate el cinturón, porque estoy a punto de dejarte boquiabierto: ¿qué pasa si los “revisores pares” son ellos mismos IA?
En realidad, esa es una pregunta capciosa. ¡No hay ningún “qué pasaría si” al respecto! La IA ya se está utilizando para “ayudar” en el proceso de revisión por pares.
Como explica útilmente “ Revisión por pares asistida por IA ”, un artículo de 2021 publicado en Humanities and Social Sciences Communications (una revista revisada por pares de “ acceso totalmente abierto y en línea ” publicada por Nature Portfolio):
El proceso de comunicación académica está bajo presión, particularmente debido a las crecientes demandas de los revisores pares y su tiempo. Los envíos de manuscritos a revistas revisadas por pares han experimentado un crecimiento anual sin precedentes del 6,1% desde 2013 y un aumento considerable en las tasas de retractación (Publons, 2018). Se estima que cada año se dedican más de 15 millones de horas a la revisión de manuscritos previamente rechazados y luego reenviados a otras revistas.
¡Oh, no! ¡Alguien no pensará en los niños revisores!
Afortunadamente, los señores tecnocráticos de la IA están aquí para ayudar:
Es probable que la comunidad investigadora reciba con agrado los avances que puedan hacer más eficiente el proceso de control/garantía de calidad asociado con los resultados de la investigación, en particular el proceso de revisión por pares. Ya existen varias iniciativas que utilizan herramientas de detección automatizadas en áreas como la prevención del plagio, las comprobaciones del cumplimiento de los requisitos y la comparación y puntuación entre revisores y manuscritos. Muchas de estas herramientas utilizan inteligencia artificial (IA), aprendizaje automático y procesamiento de lenguaje natural de grandes conjuntos de datos.
Así es, amigos. Para ayudar a aquellos asediados revisores pares que sufren la avalancha de artículos (en su mayoría generados por IA) para revisar, están recurriendo a… ¡IA! ¿Qué puede salir mal?
Es importante entender que esto no es una idea marginal. Todo lo contrario. De hecho, la idea de la revisión por pares de la IA parece ser uno de los temas más candentes en las publicaciones periódicas revisadas por pares en estos días, con artículos en Nature y el Journal of Medical Research and Learned Publishing y Springer Nature y ACS Energy Letters y muchas otras revistas que abordan el tema en los últimos años.
Dada la rapidez con la que se ha normalizado en el mundo académico la idea de la revisión por pares asistida por IA (o incluso impulsada por IA y “asistida” por humanos ), es posible pasar por alto cuán absolutamente descabellada es esta situación.
Para entender realmente esta locura, le sugiero que lea ” Cómo la IA generativa arruinará la ciencia y la investigación académica “, un artículo reciente sobre el tema en el Substack ” shadowrunners ” que profundiza en las ramificaciones filosóficas de este desarrollo.
Como señala el autor de ese artículo:
Tendrá revisores de IA revisando artículos escritos mediante algoritmos publicados en revistas para que nadie los lea. Excepto quizás la propia IA, que ahora genera sus propios datos de entrenamiento en un perverso circuito de retroalimentación informativa que estará repleto de alucinaciones estructuralmente integradas.
¿Dónde está entonces el control de calidad? ¿Cómo es siquiera concebible? ¿Quién realizará la “verificación de hechos” de los torrentes de material generado por IA? ¿Y en referencia a qué datos? ¿Artículos de investigación seleccionados o generados por IA cuya información se ha desconectado de la confiabilidad, la objetividad y la validez, y ahora se están produciendo con el fin de reforzar el comportamiento rentable del consumidor y la formación de opinión estratégica?
Sí, la IA ouroboros ahora está preparada para comenzar a comerse su propia cola.
Muy pronto, es concebible que una parte importante de la industria editorial académica, que mueve 30 mil millones de dólares al año, consista en “IA” (es decir, modelos de lenguaje grandes) que generen artículos de galimatías que serán revisados por pares por otras “IA” ( LLM) que han sido capacitados en contenido galimatías generado por “IA” (LLM).
Basura entra, basura sale, efectivamente.
La solución
Como escribí anteriormente, si bien las particularidades de este enigma generado por la IA pueden ser novedosas, no hay nada nuevo en la idea de que la naturaleza de publicar o morir de la empresa académica moderna esté pervirtiendo fundamentalmente nuestros métodos institucionales de producción de conocimiento. De hecho, todo esto debería resultarles muy familiar a quienes hayan visto mi presentación sobre La crisis de la ciencia .
Oh, espera, ¿aún no has visto “ La crisis de la ciencia ”? Entonces, corrijamos esa deficiencia ahora, ¿de acuerdo?
Como siempre, es importante conocer el problema, pero sólo en la medida en que ese conocimiento pueda indicarnos la solución de ese problema. Lo cual, como estoy seguro de que sabrá, es la razón por la que seguí mi podcast sobre La crisis de la ciencia con un podcast sobre Soluciones: ciencia abierta .
¿Aún no has visto mi presentación sobre “ Soluciones: Ciencia Abierta ”? ¡No hay tiempo como el presente!
En pocas palabras: sí, hay una solución a este lío, pero no dependerá de la IA para resolver el problema que la IA está creando.
Y no se logrará “confiando en la ciencia”.
Provendrá de un enfoque fundamentalmente diferente, descentralizado y de código abierto para la adquisición de conocimientos y de una crítica de pares horizontal y descentralizada que saque la conversación de las manos de la industria editorial académica comprada y pagada y la devuelva al manos de investigadores y profanos interesados.
Lo bueno es que esta conversación ya está teniendo lugar, sólo que no está siendo publicitada por los tecnócratas y sus secuaces científicos corporativos y sus revistas académicas controladas por IA y la prensa científica del establishment. Y ahora que lo sabes, ¡tú también eres parte de la solución!
Haga correr la voz: “El ¡Confíe en la ciencia!” está muerto. “Conviértete en la ciencia” es lo que dicen ahora los chicos geniales.
