Mostrando entradas con la etiqueta Integridad académica. Mostrar todas las entradas
Mostrando entradas con la etiqueta Integridad académica. Mostrar todas las entradas

lunes, 6 de enero de 2025

[ IA y Revisión por pares ] Si se escribe con IA... ¿La revisión de los escrito también debe usar la IA?

Publicado en blog Impact of Social Sciences (London School of Economics-LSE)
https://blogs.lse.ac.uk/impactofsocialsciences/2024/09/25/if-generative-ai-accelerates-science-peer-review-needs-to-catch-up/ 



Simone Ragavooloo


25 de septiembre de 2024


Si la IA generativa acelera la ciencia, la revisión por pares debe ponerse al día



Cada vez hay más estudios que demuestran el uso generalizado de la IA generativa en las publicaciones de investigación. Ante el consiguiente aumento del número de publicaciones, Simone Ragavooloo argumenta que los editores y revisores deberían adoptar herramientas de IA para realizar el trabajo pesado de la revisión estadística y metodológica y permitirles centrarse en áreas que requieren experiencia humana.


La inteligencia artificial está transformando la ciencia y la edición científica debe seguir el ritmo de este cambio. El informe Top 10 Emerging Technologies of 2024 del Foro Económico Mundial destaca los miles de millones de fondos que se están invirtiendo en IA sólo en el ámbito de los descubrimientos científicos.


La IA ya se aplica ampliamente en la investigación, desde el descubrimiento de nuevas familias de antibióticos hasta el estudio de innumerables fenómenos sociales y culturales. El Consejo de Asesores sobre Ciencia y Tecnología del Presidente de Estados Unidos (PCAST) ha declarado que «la IA tiene el potencial de transformar todas las disciplinas científicas y muchos aspectos de la forma en que hacemos ciencia». El potencial transformador de la IA no sólo reside en cómo investigamos, sino en cuánta investigación científica producimos, como se reconoce en el informe de la OCDE 2023 Artificial Intelligence in Science: «aumentar la productividad de la investigación podría ser el más valioso económica y socialmente de todos los usos de la IA». Por favor denos unos días más para intentar tener una opinión más consolidada


Los editores deben ahora adaptarse e innovar como lo hicieron durante el paso de lo impreso a lo digital a finales del siglo XX. Sin embargo, la revisión por pares supone un reto para estas visiones. Se calcula que en 2020 se dedicarán 100 millones de horas a la revisión por pares, una cifra que podría aumentar exponencialmente si no se apoya a los revisores. Dado que algunos ya consideran que el sistema actual funciona al límite de su capacidad, Lisa Messeri y M. J. Crockett afirman que una «ciencia a gran escala» basada en la inteligencia artificial podría provocar una «ilusión de comprensión», en la que un aumento significativo de la productividad y los resultados científicos no se viera correspondido por la perspicacia y el criterio humanos.


Una de las respuestas es combinar lo similar con lo similar. Para liberar la experiencia de los revisores humanos, necesitamos desarrollar y confiar más en las herramientas de revisión por pares y de integridad de la investigación basadas en IA para que hagan el trabajo pesado. El primer paso es evitar que la ciencia fraudulenta o simplemente «mala» entre en el proceso de revisión por pares. La situación de la integridad de la investigación es análoga al uso que hacen la ciberseguridad y el sector financiero de la IA para combatir el fuego con fuego. Estas aplicaciones ponen de relieve la capacidad de la IA para procesar grandes cantidades de datos e identificar anomalías a un ritmo que no puede igualar la detección humana. De hecho, ya existen herramientas de IA en la integridad de la investigación, AIRA de Frontiers se puso en línea ya en 2018 y ahora se une a una serie de herramientas de IA que abordan diversos aspectos del fraude en la investigación. La Asociación Internacional de Editores Científicos, Técnicos y Médicos (STM) creó recientemente el Centro de Integridad STM para agregar y aprovechar estas innovaciones tecnológicas en los editores de investigación. 


Por muy positivas que sean estas medidas de las editoriales para proteger la integridad de la investigación, el mayor reto al que se enfrentan las editoriales en relación con la IA no son las prácticas malignas de unos pocos, sino la adopción positiva de herramientas de IA para hacer avanzar y agilizar la investigación por parte de muchos.  


Entonces, ¿qué hay que hacer? Las editoriales deben superar las limitaciones iniciales de la IA y los primeros grandes modelos lingüísticos (incluidos los datos disponibles para entrenar estos LLM) y aprovechar el potencial de la revisión por pares basada en la IA. Los datos abiertos son un primer ejemplo de esta tendencia. Los datos abiertos, un principio básico del movimiento de la ciencia abierta, permiten a la IA en el descubrimiento científico establecer la conexión entre los datos interoperables producidos por diferentes equipos de investigación.  A medida que los datos científicos obtenidos mediante IA se hacen más grandes y complejos, la tarea clave de los revisores de detectar errores metodológicos y estadísticos en las presentaciones se vuelve más exigente. Una situación que a menudo se ve agravada por la falta de formación y conocimientos estadísticos avanzados de algunos investigadores. Por lo tanto, la combinación de IA con ciencia abierta/datos abiertos tiene el potencial de aumentar los descubrimientos científicos y la innovación, pero también crea combinaciones más complejas de datos y más riesgo de que se introduzcan fallos en los conjuntos de datos.


Por poner un ejemplo real, un equipo científico líder produjo datos originales con buena intención, utilizando el aprendizaje automático para identificar microbiomas asociados al cáncer. El escrutinio por pares posterior a la publicación identificó problemas con los datos y señaló la «avalancha» de estudios posteriores que utilizaron estos datos creyéndolos sólidos. A ello siguieron retractaciones e investigaciones relacionadas.  Desde el punto de vista del editor y de la revisión por pares, la pregunta es cómo se pudo evitar que los datos entraran en el registro científico. A este respecto, todavía nos encontramos en un periodo de transición, en el que los investigadores y editores siguen aprendiendo de este tipo de incidentes y adaptando las metodologías de investigación y los protocolos de revisión por pares a medida que se generaliza el uso de la IA y los LLM en la investigación.   


Las editoriales tienen la escala y la experiencia tecnológica para experimentar y desarrollar herramientas en este ámbito. A medida que aumentan las aplicaciones de la IA en la investigación científica, no es deseable ni factible confiar en un pequeño grupo de revisores estadísticos para hacer el trabajo pesado con datos cada vez más complejos producidos a un ritmo más rápido.  Las herramientas de los editores deberían ayudar tanto a los autores como a los revisores detectando automáticamente y con precisión errores o anomalías estadísticas, sugiriendo métodos estadísticos apropiados y proporcionando un análisis preliminar de los datos de los investigadores. Si logramos esto, incluso con grandes conjuntos de datos generados por IA, el proceso de revisión seguirá siendo sólido pero racionalizado, liberando a los revisores humanos para que se centren en otros aspectos críticos del manuscrito.


Hay dos cosas claras. En primer lugar, la revisión por pares no puede mantenerse en su estado actual a medida que la IA aumenta la producción científica. En segundo lugar, a medida que crece el volumen de la investigación, la colaboración, así como la innovación, son esenciales para proteger el discurso científico y la integridad del registro científico. ¿Qué aspecto tiene la cooperación entre publicaciones e investigaciones, desde la mesa del laboratorio hasta la página del editor, y cómo podemos impulsarla? ¿Podemos desarrollar herramientas de inteligencia artificial lo suficientemente avanzadas como para detectar grandes volúmenes de datos defectuosos antes de que se incorporen al registro científico? ¿Cómo funcionaría un sistema de alerta para todos los editores (similar a las alertas de ciberseguridad) para compartir información que impida la difusión de datos y análisis erróneos?


La IA en la ciencia y la edición se encuentra en sus primeras fases, pero ya es una realidad que hay que abordar y seguir desarrollando.  Juntos debemos abrir el camino hacia el potencial de la IA en la innovación científica. 



Sobre la autora

Simone Ragavooloo


Simone Ragavooloo es experta en integridad de la investigación y asesora del Comité de Ética de las Publicaciones (COPE). Su trabajo se centra en ayudar a los editores a formular y aplicar políticas que promuevan la integridad de la investigación y eleven las normas éticas de publicación. Es una firme defensora del papel fundamental que desempeñan los editores en la formulación de políticas y la influencia en la conducta ética dentro de la comunidad investigadora. Simone ha ocupado puestos relacionados en BMJ y Springer Nature y actualmente aporta su experiencia en Frontiers como Directora de Cartera de Integridad de la Investigación. 



****************


Simone Ragavooloo

September 25th, 2024

If generative AI accelerates science, peer review needs to catch up



Studies have increasingly shown the widespread use of generative AI in research publications. Faced with the consequent uptick in the number of publications, Simone Ragavooloo argues that editors and reviewers should embrace AI tools to undertake the heavy lifting of statistical and methodological review and to allow them to focus on areas that require human expertise.

Artificial Intelligence is transforming science and science publishing must keep pace with this change. The World Economic Forum’s Top 10 Emerging Technologies of 2024 report highlights the billions of funding being ploughed into AI in scientific discovery alone.

AI is now already widely applied in research, from discovering new families of antibiotics to studying myriad social and cultural phenomena. The United States’ President’s Council of Advisors on Science and Technology (PCAST) has stated “AI has the potential to transform every scientific discipline and many aspects of the way we conduct science.” AI’s transformative potential lies not only in how we do research, but in how much scientific research we produce, as recognised in the OECD’s 2023 Artificial Intelligence in Science report: “raising the productivity of research could be the most economically and socially valuable of all the uses of AI”.

Publishers must now adapt and innovate just as they did during the shift from print to digital at the end of the 20th century. However, peer review presents a challenge to these visions. 100 million hours were estimated to be spent on peer review in 2020, a figure that could rise exponentially if reviewers are not supported. Given that the current system is already viewed by some as working at capacity, Lisa Messeri and M J. Crockett have argued an AI-enabled ‘science-at-volume’ could lead to the ‘illusion of understanding’, whereby a significant escalation in scientific productivity and output is not matched by human insight and judgement.

One answer is to meet like with like. To free up human reviewer expertise, we need to develop and trust more in AI-enabled peer review and research integrity tools to do the heavy lifting. Preventing fraudulent and plain, old ‘bad’ science entering the peer review process is the first step. The situation in research integrity is analogous here with cyber security’s and the finance sector’s use of AI to fight fire with fire. These applications highlight AI’s capability to process vast amounts of data and identify anomalies at a rate that cannot be matched by human detection. Indeed, AI-tools in research integrity already exist, Frontiers’ AIRA came online as early as 2018 and is now joined by an array of AI-tools tackling various aspects of research fraud. The International Association of Scientific, Technical and Medical Publishers (STM) recently created the STM Integrity Hub to aggregate and harness such technological innovations across research publishers.  

Positive as these steps are by publishers to protect research integrity, the greatest challenge facing publishers in relation to AI is not malign practices by the few, but the positive adoption of AI tools to advance and expediate research by the many.

So, what is to be done? Publishers need to get past initial limitations with AI and early large language models (including the data available to train these LLMs) and realise the potential of AI-enabled peer review. Open data is an early example of this trend. A core tenet of the open science movement, open data enables AI-in-scientific-discovery to make the connection between interoperable data produced by different research teams.  As AI-enabled scientific data becomes bigger and more complex, the key reviewer task of spotting methodological and statistical errors in submissions becomes more demanding. A situation that is often exacerbated by the lack of advanced statistical training and expertise for some researchers. The combination of AI with open science/open data therefore has the potential to increase scientific discovery and innovation, but it also creates more complex combinations of data and more risk of flaws being introduced to datasets.   

To give a real-world example, a-leading science team produced original data with good intent, using machine-learning to identify microbiomes associated with cancer. Post-publication peer scrutiny identified problems with the data and pointed to the “flurry” of subsequent studies that used this data believing it to be sound. Retractions and related investigations followed.  From a publisher and peer review perspective, the question is how the data could have been prevented from entering the scientific record? In this respect, we are all still in the transitional period, where researchers and publishers continue to learn from such incidents and adapt research methodologies and peer-review protocols as the use of AI and LLMs in research becomes widespread.

Publishers have the scale and technological expertise to experiment and develop tools in this space. As more applications of AI in scientific research come online, it is neither desirable nor feasible to rely on a small pool of statistical reviewers to do the heavy lifting with evermore complex data produced at a faster rate.  Publishers’ tools should assist both authors and reviewers by automatically and accurately detecting statistical errors or anomalies, suggesting appropriate statistical methods, and providing a preliminary analysis of researchers’ data. If we can achieve this, then even with big, AI-generated datasets, the review process will remain robust but streamlined, freeing up human reviewers to focus on other critical aspects of the manuscript.  

Two things are clear. First, peer review cannot be sustained in its current state as AI increases science output. Second, as the volume of research grows, collaboration, as well as innovation, is essential to protect scientific discourse and the integrity of the scientific record. What does cross-publishing, cross-research cooperation look like, from the lab bench to publisher’s page and how do we drive it forward? Can we develop AI tools advanced enough to catch faulty big data before it enters the scientific record? How would a publisher-wide alert system (not dissimilar to cyber security alerts) work, to share intelligence that stops flawed data and analysis from spreading?

AI in science and publishing is in its early stages, but it is already a reality that needs to be addressed and further developed.  Together, we should provide an open path forward to the potential of AI in scientific innovation.  


About the author

Simone Ragavooloo

Simone Ragavooloo is an experienced Research Integrity expert and advisor for the Committee on Publication Ethics (COPE). Her work is focused on supporting publishers to form and implement policies that advance research integrity and elevate publication ethics standards. She is a vocal proponent of the critical role publishers play in shaping policy and influencing ethical conduct within the research community. Simone has held related positions at BMJ and Springer Nature and currently contributes her expertise at Frontiers as Research Integrity Portfolio Manager. 


sábado, 26 de octubre de 2024

CHINA: investigadores de élite dicen que "no tuvieron más remedio" que cometer faltas de conducta

Publicado en Nature
https://www.nature.com/articles/d41586-024-01697-y?utm_medium=Social&utm_campaign=nature&utm_source=Twitter&s=08#Echobox=1718099290 


Investigadores de élite chinos dicen que "no tuvieron más remedio" que cometer faltas de conducta


Entrevistados anónimos afirman que incurrieron en conductas poco éticas para proteger sus puestos de trabajo, aunque otros afirman que el estudio presenta una visión excesivamente negativa.


Por Smriti Mallapaty


"No tuve más remedio que cometer faltas [de investigación]", admite un investigador de una universidad china de élite. Esta sorprendente revelación se recoge en una colección de varias docenas de entrevistas anónimas en profundidad que ofrecen testimonios de primera mano de investigadores que han incurrido en conductas poco éticas y describen lo que les llevó al límite. Un artículo basado en estas entrevistas se publicó en abril en la revista Research Ethics (1)


El entrevistador, el sociólogo Zhang Xinqu, y su colega Wang Peng, criminólogo, ambos de la Universidad de Hong Kong, sugieren que los investigadores se sentían obligados, e incluso alentados, a incurrir en conductas poco éticas para proteger sus puestos de trabajo. Esta presión, concluyen, procedía en última instancia de un programa chino para crear universidades reconocidas en todo el mundo. El programa impulsó a algunas instituciones chinas a fijarse ambiciosos objetivos de publicación, afirman. 


El artículo ofrece "un atisbo del dolor y la culpa que sentían los investigadores" cuando incurrían en conductas poco éticas, afirma Elisabeth Bik, investigadora y asesora de imágenes científicas en San Francisco (California). 


Sin embargo, otros investigadores afirman que los resultados ofrecen una imagen excesivamente negativa del programa chino. Zheng Wenwen, responsable de integridad de la investigación en el Instituto de Información Científica y Técnica de China, dependiente del Ministerio de Ciencia y Tecnología, en Pekín, afirma que el tamaño de la muestra es demasiado pequeño para extraer conclusiones fiables. El estudio se basa en entrevistas con personal de sólo tres institutos de élite, a pesar de que en la actualidad más de 140 instituciones forman parte del programa de creación de universidades y disciplinas de investigación competitivas a escala internacional.


Los rankings, un juego


En 2015, el Gobierno chino introdujo la Iniciativa Doble Primera Clase para establecer universidades y disciplinas de "talla mundial". Las universidades seleccionadas para ser incluidas en el programa reciben financiación extra, mientras que las que obtienen malos resultados corren el riesgo de ser excluidas de la lista, afirma Wang.


Entre mayo de 2021 y abril de 2022, Zhang realizó entrevistas virtuales anónimas a 30 profesores y 5 estudiantes de ciencias naturales de tres de estas universidades de élite. Entre los entrevistados había un presidente, decanos y jefes de departamento. Los investigadores también analizaron documentos internos de las universidades.


Los responsables universitarios entrevistados en los tres institutos afirmaron que entendían que era responsabilidad suya interpretar los objetivos del programa Doble Primera Clase. Decidieron que, para permanecer en el programa, sus universidades debían mejorar su posición en los rankings internacionales y que, para ello, sus investigadores debían publicar más artículos en revistas internacionales indexadas en bases de datos como el Science Citation Index. 


Algunas universidades trataban los rankings universitarios mundiales como un "juego" que había que ganar, afirma Wang.


A medida que la directiva descendía en la jerarquía institucional, aumentaba la presión por el rendimiento en esos institutos. Los departamentos universitarios fijaron criterios de publicación específicos y difíciles de alcanzar para que los académicos obtuvieran ascensos y titularidades.


Algunos investigadores admitieron haber incurrido en prácticas de investigación poco éticas por miedo a perder su empleo. En una entrevista, el director de una facultad dijo: "Si alguien no puede cumplir los criterios [relativos a las publicaciones], le sugiero que se vaya cuanto antes".


Zhang y Wang describen a investigadores que recurren a servicios para que escriban sus artículos por ellos, falsifican datos, plagian, explotan a estudiantes sin ofrecerles la autoría y sobornan a directores de revistas.


Uno de los entrevistados admitió haber pagado por acceder a un conjunto de datos. "Compré el acceso a un archivo oficial y alteré los datos para apoyar mis hipótesis".


Un decano adjunto subrayó la primacía del objetivo de publicar. «No debemos ser excesivamente estrictos a la hora de identificar y castigar las faltas de ética investigadora, ya que dificultan la eficacia investigadora de nuestros becarios».


Eso no es todo


Los autores «dan en el clavo» al describir la relación entre la presión institucional y la mala conducta investigadora, afirma Wang Fei, que estudia la política de integridad de la investigación en la Universidad Tecnológica de Dalian.



*************************

  • NEWS

  • 11 June 2024

Elite researchers in China say they had ‘no choice’ but to commit misconduct

Anonymous interviewees say they engaged in unethical behaviour to protect their jobs — although others say study presents an overly negative view.

“I had no choice but to commit [research] misconduct,” admits a researcher at an elite Chinese university. The shocking revelation is documented in a collection of several dozen anonymous, in-depth interviews offering rare, first-hand accounts of researchers who engaged in unethical behaviour — and describing what tipped them over the edge. An article based on the interviews was published in April in the journal Research Ethics1.

The interviewer, sociologist Zhang Xinqu, and his colleague Wang Peng, a criminologist, both at the University of Hong Kong, suggest that researchers felt compelled, and even encouraged, to engage in misconduct to protect their jobs. This pressure, they conclude, ultimately came from a Chinese programme to create globally recognized universities. The programme prompted some Chinese institutions to set ambitious publishing targets, they say.  

The article offers “a glimpse of the pain and guilt that researchers felt” when they engaged in unethical behaviour, says Elisabeth Bik, a scientific-image sleuth and consultant in San Francisco, California. 

But other researchers say the findings paint an overly negative picture of the Chinese programme. Zheng Wenwen, who is responsible for research integrity at the Institute of Scientific and Technical Information of China, under the Ministry of Science and Technology, in Beijing, says that the sample size is too small to draw reliable conclusions. The study is based on interviews with staff at just three elite institutes — even though more than 140 institutions are now part of the programme to create internationally competitive universities and research disciplines.  

Rankings a game

In 2015, the Chinese government introduced the Double First-Class Initiative to establish “world-class” universities and disciplines. Universities selected for inclusion in the programme receive extra funding, whereas those that perform poorly risk being delisted, says Wang.

Between May 2021 and April 2022, Zhang conducted anonymous virtual interviews with 30 faculty members and 5 students in the natural sciences at three of these elite universities. The interviewees included a president, deans and department heads. The researchers also analysed internal university documents. 

The university decision-makers who were interviewed at all three institutes said they understood it to be their responsibility to interpret the goals of the Double First-Class scheme. They determined that, to remain on the programme, their universities needed to increase their standing in international rankings — and that, for that to happen, their researchers needed to publish more articles in international journals indexed in databases such as the Science Citation Index.

Some universities treated world university rankings as a “game” to win, says Wang.

As the directive moved down the institutional hierarchy, pressure to perform at those institutes increased. University departments set specific and hard-to-reach publishing criteria for academics to gain promotion and tenure.

Some researchers admitted to engaging in unethical research practices for fear of losing their jobs. In one interview, a faculty head said: “If anyone cannot meet the criteria [concerning publications], I suggest that they leave as soon as possible.”

Zhang and Wang describe researchers using services to write their papers for them, falsifying data, plagiarizing, exploiting students without offering authorship and bribing journal editors.

One interviewee admitted to paying for access to a data set. “I bought access to an official archive and altered the data to support my hypotheses.”  

An associate dean emphasized the primacy of the publishing goal. “We should not be overly stringent in identifying and punishing research misconduct, as it hinders our scholars’ research efficiency.”

Not the whole picture

The authors “hit the nail on the head” in describing the relationship between institutional pressure and research misconduct, says Wang Fei, who studies research-integrity policy at Dalian University of Technology.   

But she says it’s not the whole picture. Incentives to publish high-quality research are part of broader reforms to the higher-education system that “have been largely positive”. “The article focuses almost exclusively on the negative aspects, potentially misleading readers into thinking that Chinese higher education reforms are severely flawed and accelerating research misconduct.”

Tang Li, a science- and innovation-policy researcher at Fudan University in Shanghai, agrees. The first-hand accounts are valuable, but the findings could be biased, she says, because those who accepted the interview might have strong feelings and might not represent the opinions of those who declined to be interviewed.

Zheng disagrees with the study’s conclusions. In 2020, the government issued a directive for Double First-Class institutes. This states specifically that evaluations should be comprehensive, and not just focus on numbers of papers, she says. Research misconduct is a result not of the Double First-Class initiative, but of an “insufficient emphasis on research integrity education”, says Zheng.

Punishing misconduct

The larger problem, says Xiaotian Chen, a library and information scientist at Bradley University in Peoria, Illinois, is a lack of transparency and of systems to detect and deter misconduct in China. Most people do the right thing, despite the pressure to publish, says Chen, who has studied research misconduct in China. The pressure described in the paper could just be “an excuse to cheat”.

The Chinese government has introduced several measures to crack down on misconduct, including defining what constitutes violations and specifying appropriate penalties. They have also banned cash rewards for publishing in high-impact journals.

Wang Peng says that government policies need to be more specific about how they define and punish different types of misconduct.

But Zheng says that, compared with those that apply in other countries, “the measures currently taken by the Chinese government to punish research misconduct are already very stringent”.

The authors also ignore recent government guidance for elite Chinese institutions to break with the tendency of evaluating faculty members solely on the basis of their publications and academic titles, says Zheng.

Tang points out that the road to achieving integrity in research is long. “Cultivating research integrity takes time and requires orchestrated efforts from all stakeholders,” she says.

And the pressure to publish more papers to drive up university rankings “is not unique to China”, says Bik. “Whenever and wherever incentives and requirements are set up to make people produce more, there will be people ‘gaming the metrics’.”

doi: https://doi.org/10.1038/d41586-024-01697-y

ReferencesZhang, X. & and Wang, P. Res. Ethics https://doi.org/10.1177/17470161241247720 (2024).

"¡Quemadlo con fuego!" - El uso de ChatGPT «polariza» a los revisores

Publicado en THE Times Higher Education https://www.timeshighereducation.com/news/corrupting-chatgpt-use-polarises-peer-reviewers   Quemadlo...