Publicado en Science
https://www.science.org/content/article/should-researchers-use-ai-write-papers-group-aims-community-driven-standards
¿Deben los investigadores utilizar la IA para escribir artículos? El grupo aspira a unas normas impulsadas por la comunidad
Según estimaciones recientes, herramientas como ChatGPT podrían utilizarse en entre el 1% y el 5% de los manuscritos.
16 Abr 2024
Por Holly Else
¿Cuándo y cómo deben ayudar a redactar artículos de investigación los programas de inteligencia artificial (IA) que generan textos, como ChatGPT? En los próximos meses, 4000 investigadores de diversas disciplinas y países darán su opinión sobre las directrices que podrían adoptarse ampliamente en la edición académica, que ha estado lidiando con chatbots y otras cuestiones de IA durante el último año y medio. El grupo que está detrás de esta iniciativa quiere sustituir el panorama poco sistemático de las directrices actuales por un único conjunto de normas que represente el consenso de la comunidad investigadora.
Conocida como CANGARU, la iniciativa es una asociación entre investigadores y editores, entre ellos Elsevier, Springer Nature, Wiley; representantes de las revistas eLife, Cell y The BMJ; así como el organismo industrial Committee on Publication Ethics. Según Giovanni Cacciamani, urólogo de la Universidad del Sur de California que dirige CANGARU, el grupo espera publicar en agosto un conjunto definitivo de directrices que se actualizarán cada año debido a la «rápida evolución de esta tecnología». Las directrices incluirán una lista de las formas en que los autores no deben utilizar los grandes modelos de lenguaje (LLM) que potencian los chatbots y cómo deben revelar otros usos.
Desde que herramientas de IA generativa como ChatGPT se hicieron públicas a finales de 2022, editores e investigadores han debatido estas cuestiones. Algunos afirman que las herramientas pueden ayudar a redactar manuscritos si se utilizan de forma responsable, por ejemplo, en el caso de autores cuya lengua materna no sea el inglés. Otros temen que los estafadores científicos las utilicen para publicar rápidamente trabajos convincentes pero falsos. Según Tanya De Villiers-Botha, filósofa de la Universidad de Stellenbosch, la propensión de los LLM a inventarse cosas, combinada con su relativa fluidez en la escritura y un sistema de revisión por pares sobrecargado, «supone una grave amenaza para la investigación y la publicación científicas».
Algunas revistas, como Science y Nature, y otros organismos ya han publicado normas sobre cómo pueden utilizar los científicos las herramientas de IA generativa en su trabajo. (El departamento de Noticias de Science es editorialmente independiente.) Esas políticas suelen establecer que las herramientas de IA no pueden ser autoras porque no pueden ser responsables del trabajo. También exigen a los autores que declaren dónde se han utilizado las herramientas.
Pero el nivel de orientación varía. En una política de diciembre de 2023, la Asociación STM, un organismo de comercio editorial, detalló los usos permitidos para la IA generativa y enumera otras áreas sobre las que los editores de revistas deben decidir caso por caso. Pero el anuncio de la Comisión Europea del mes pasado es menos prescriptivo, ya que afirma que los investigadores que utilicen estas herramientas deben hacerlo de forma transparente y seguir siendo responsables de su producción científica.
La variedad de directrices puede confundir a los investigadores. «Lo ideal sería hacer un gran esfuerzo por reunir todas estas normas en una sola que todo el mundo pudiera seguir», afirma Jean-Christophe Bélisle-Pipon, especialista en ética sanitaria de la Universidad Simon Fraser. «Una directriz estandarizada es necesaria y urgente», añade De Villiers-Botha.
Cacciamani dirige CANGARU en una revisión sistemática de la bibliografía pertinente, que servirá de base a las directrices sobre IA. A continuación, un grupo de investigadores, clínicos, informáticos, ingenieros, metodólogos y editores evaluará las directrices.
Pero algunos investigadores temen que la iniciativa no avance lo suficientemente rápido. «El mundo ya ha cambiado significativamente en los últimos 10 meses», afirma Daniel Hook, responsable de la empresa de análisis de datos Digital Science. «La velocidad de avance de la IA generativa no hará sino aumentar».
El número de investigadores que utilizan estas herramientas en sus escritos parece dispararse. Algunos casos de uso no revelado e ilícito de ChatGPT son evidentes. A veces añade a los textos fases reveladoras como «corte de conocimientos en septiembre de 2021». «Son auténticas pistolas humeantes», afirma el informático de la Universidad de Toulouse Guillaume Cabanac, que ha recopilado una lista de más de 70 artículos que llevan el sello de ChatGPT no declarado para el blog Retraction Watch.
Otros han buscado pistas más sutiles sobre el texto LLM. En un preprint publicado en arXiv el 25 de marzo, Andrew Gray, que trabaja en apoyo bibliométrico en el University College de Londres, calcula que algo más del 1% de los artículos publicados en 2023, unos 60.000 en total, contenían una presencia desproporcionada de palabras inusuales que se sabe que están correlacionadas con el texto generado por LLM. Otro análisis, publicado en bioRxiv por Yingfeng Zheng, de la Universidad Sun Yat-sen, y sus colegas el 26 de marzo, investigó 45.000 preprints antes y después de que ChatGPT estuviera disponible y calculó que el 5% de estos últimos incluían texto generado por IA.
Philip Shapira, que estudia la gobernanza de las tecnologías emergentes en la Universidad de Manchester, afirma que las cifras podrían estar subestimadas. «Ahora es fácil encontrar en Internet recomendaciones y herramientas para 'eliminar' términos y frases comunes generados por ChatGPT», afirma. Y es probable que las herramientas de IA mejoren su estilo de redacción en el futuro, lo que dificultará aún más su detección.
Una vez elaboradas las directrices sobre IA, el siguiente paso será asegurarse de que los autores las cumplen, afirma Sabine Kleinert, subdirectora de la revista médica The Lancet, que participa en CANGARU. Esto puede hacerse pidiendo a los autores que declaren el uso de la IA cuando presenten sus trabajos. Para frenar el uso de la IA también se requerirá «la experiencia de los editores... así como una sólida revisión por pares y políticas adicionales de integridad y ética de la investigación», añade Kleinert.
En última instancia, según Bélisle-Pipon, el éxito de las directrices dependerá también de que las instituciones y los organismos que las conceden incentiven el cumplimiento de las políticas y penalicen a los investigadores que no las respeten. «Todos sabemos que el quid de la cuestión es cómo evalúan a los investigadores los financiadores y los comités de contratación, titularidad y promoción».
//////////////////
Should researchers use AI to write papers? Group aims for community-driven standards Tools such as ChatGPT may be used for 1% to 5% of manuscripts, recent estimates suggest16 Apr 2024
By Holly Else
When and how should text-generating artificial intelligence (AI) programs such as ChatGPT help write research papers? In the coming months, 4000 researchers from a variety of disciplines and countries will weigh in on guidelines that could be adopted widely across academic publishing, which has been grappling with chatbots and other AI issues for the past year and a half. The group behind the effort wants to replace the piecemeal landscape of current guidelines with a single set of standards that represents a consensus of the research community.
Known as CANGARU, the initiative is a partnership between researchers and publishers including Elsevier, Springer Nature, Wiley; representatives from journals eLife, Cell, and The BMJ; as well as industry body the Committee on Publication Ethics. The group hopes to release a final set of guidelines by August, which will be updated every year because of the “fast evolving nature of this technology,” says Giovanni Cacciamani, a urologist at the University of Southern California who leads CANGARU. The guidelines will include a list of ways authors should not use the large language models (LLMs) that power chatbots and how they should disclose other uses.
Since generative AI tools such as ChatGPT became public in late 2022, publishers and researchers have debated these issues. Some say the tools can help draft manuscripts if used responsibly—by authors who do not have English as their first language, for example. Others fear scientific fraudsters will use them to publish convincing but fake work quickly. LLMs’ propensity to make things up, combined with their relative fluency in writing and an overburdened peer-review system, “poses a grave threat to scientific research and publishing,” says Tanya De Villiers-Botha, a philosopher at Stellenbosch University.
Some journals, including Science and Nature, and other bodies have already released rules about how scientists can use generative AI tools in their work. (Science’s News department is editorially independent.) Those policies often state that AI tools cannot be authors because they cannot be accountable for the work. They also require authors to declare where the tools have been used.
But the level of guidance varies. In a December 2023 policy, the STM Association, a publishing trade body, spelled out allowed uses for generative AI and lists other areas on which journal editors should decide case by case. But last month’s announcement from the European Commission is less prescriptive, stating that researchers using these tools should do so transparently and remain responsible for their scientific output.
The variety of guidelines could be confusing for researchers. “Ideally there should be a big effort to bring all these rules together into one big set that everyone can follow,” says Jean-Christophe Bélisle-Pipon, a health ethicist at Simon Fraser University. “A standardized guideline is both necessary and urgent,” De Villiers-Botha adds.
Cacciamani is leading CANGARU in a systematic review of the relevant literature, which will inform the AI guidelines. A panel of researchers, clinicians, computer scientists, engineers, methodologists, and editors will then evaluate the guidelines.
But some researchers fear the initiative is not moving fast enough. “Already the world has changed significantly in the last 10 months,” says Daniel Hook, head of data analytics firm Digital Science. “The speed of progress of generative AI will only increase.”
The number of researchers using the tools in their writing appears to be soaring. Some cases of undisclosed, illicit ChatGPT use are obvious. It sometimes adds to text telltale phases such as “knowledge cutoff in September 2021.” “These are real smoking guns,” says University of Toulouse computer scientist Guillaume Cabanac, who compiled a list of more than 70 articles that bear the hallmarks of undeclared ChatGPT for the blog Retraction Watch.
Others have looked for subtler clues to LLM text. In a preprint posted on arXiv on 25 March, Andrew Gray, who works in bibliometric support at University College London, estimates that just over 1% of articles published in 2023, about 60,000 in total, contained a disproportionate occurrence of unusual words known to be correlated with LLM-generated text. Another analysis, posted on bioRxiv by Yingfeng Zheng at Sun Yat-sen University and colleagues on 26 March, investigated 45,000 preprints before and after ChatGPT became available and estimated 5% of the latter include AI-generated text.
Philip Shapira, who studies the governance of emerging technologies at the University of Manchester, says the numbers could be underestimates. “It is now easy to go online to find recommendations and tools to ‘weed out’ common ChatGPT-generated terms and phrases,” he says. And AI tools will likely improve their writing style in the future, making it more challenging to spot.
Once AI guidelines are drawn up, the next step will be to ensure that authors stick to them, says Sabine Kleinert, deputy editor of medical journal The Lancet, which is involved in CANGARU. This can be done by asking authors to declare the use of AI when they submit papers. Reining in AI use will also require “the expertise of editors … as well as robust peer review and additional research integrity and ethical polices,” Kleinert adds.
Ultimately, Bélisle-Pipon says, the success of the guidelines will also depend on institutions and granting agencies to incentivize adherence to policies—and to penalize researchers who don’t. “We all know that the crux of the matter is how funders and recruitment, tenure, and promotion committees evaluate researchers.”
**************
