martes, 14 de diciembre de 2021

SUDÁFRICA: participación de SciELO en la evaluación de revistas

Publicado en University World News
https://www.universityworldnews.com/post.php?story=2021120720283226


SUDÁFRICA

La revisión de las revistas científicas muestra puntos fuertes y débiles


Alicia James 09 diciembre 2021


De las 22 revistas de las disciplinas de matemáticas y ciencias evaluadas por un comité de revisión de la Academia de Ciencias de Sudáfrica (ASSAf), se recomendó retirar tres de la lista acreditada del Departamento de Educación Superior y Formación (DHET).


Cinco fueron recomendadas para ser invitadas a formar parte de la Scientific Electronic Library Online South Africa (SciELO SA) y siete no fueron aprobadas para su inclusión en este índice. Se recomendó la inclusión de siete en la plataforma SciELO SA, siempre que apliquen un modelo de acceso abierto.


Tres revistas ya figuraban en la plataforma SciELO SA.


Esto fue revelado en el recientemente publicado Informe sobre la Revisión por Pares Agrupados de Revistas Científicas en Matemáticas y Ciencias.


La inclusión de las revistas en estos índices significa que los artículos publicados en ellas hacen que los académicos o sus universidades reciban subvenciones gubernamentales. El informe es el duodécimo de una serie de evaluaciones agrupadas por disciplinas de las revistas académicas sudafricanas.


La intención es que todas las revistas académicas publicadas en Sudáfrica se sometan a una revisión independiente y múltiple por pares, como parte de un proceso de garantía de calidad iniciado por ASSAf.


El proceso de aseguramiento de la calidad es un precursor de la identificación de los títulos de revistas que se cargarán en la plataforma de acceso abierto, SciELO SA.


"Sólo las revistas de acceso abierto de suficiente calidad se incluirán en esta plataforma multinacional, totalmente indexada y de acceso libre, que ahora también aparece directamente en el portal Web of Science (WoS) de Clarivate Analytics", señala el informe.


Conclusiones de la revisión


El informe indica que el objetivo principal del proceso de revisión de la ASSAf es que las revistas mejoren la calidad de la publicación académica de una manera que se ajuste a las prácticas académicas tradicionales, principalmente la revisión voluntaria por pares. "No es un intento de controlar estas publicaciones de ninguna manera", explica el informe.


Mahlubi Mabizela y Fhumulani Maanda, de la división de política de enseñanza superior y desarrollo de la investigación del DHET, dijeron: "En los últimos años se ha intensificado el movimiento de acceso abierto y ciencia abierta. El DHET ha atendido el llamamiento y apoya el acceso abierto al conocimiento de calidad".


Junto con la plataforma SciELO SA, gestionada por ASSAf, el DHET ha incluido recientemente el Directorio de Revistas de Acceso Abierto como uno de los índices aprobados a efectos de subvención de la investigación de los artículos publicados por los académicos de las universidades sudafricanas.


A continuación se exponen los resultados de la revisión:


- ORiON, la revista de la Sociedad de Investigación Operativa de Sudáfrica, fue recomendada para seguir siendo acreditada por el DHET, pero no para SciELO SA.


El informe indicaba que "el editor jefe y los miembros del consejo deberían mejorar su prestigio internacional; deberían incluirse miembros del consejo de alta reputación internacional". La calidad de los artículos debe mejorar y el número de artículos debe aumentar. El tiempo medio entre el envío y la publicación final podría acortarse.


- La revista African Journal of Agricultural and Resource Economics no fue recomendada para continuar la acreditación con el DHET ni para SciELO SA. 


El jurado recomendó que el consejo editorial tenga más representación del continente africano. "La revista debería mejorar su sitio web y seguir los modelos de diseño de otras buenas revistas internacionales".


- Se recomendó que la revista African Journal of Science, Technology, Innovation and Development continuara con la acreditación del DHET, pero no con la de SciELO SA.


"El editor debería reconsiderar firmemente la cuestión de la publicación de artículos de los que él u otros miembros del consejo editorial son autores o coautores. Esto constituye un grave conflicto de intereses y contraviene los códigos aceptables de la práctica editorial", indicaba el informe.


- El Journal for New Generation Sciences no fue recomendado para continuar la acreditación del DHET ni para SciELO SA.


El panel tiene serias dudas sobre el título, la composición del consejo editorial, la relación entre la aceptación y el rechazo de los manuscritos, las cifras de impacto y citación de los trabajos publicados y "la falta de alineación entre el título de la revista y la mayor parte del contenido", según el informe.


Annals of the Ditsong National Museum of Natural History fue recomendada para continuar con la acreditación DHET, pero no fue recomendada para SciELO SA.


El panel observó que la revista no se ajusta a los requisitos para la acreditación del DHET. Concedió que el nuevo editor se ha comprometido con la mayoría de los cambios y mejoras sugeridos que, cuando se completen, alinearán la revista con los requisitos para la acreditación del DHET.


- La revista del The Durban Natural Science Museum Novitates no fue recomendada para continuar con la acreditación del DHET ni para SciELO SA.


El grupo recomendó que la revista abordará cuestiones como el número de artículos publicados anualmente y la elevada proporción de artículos que emanan (con o sin coautores externos) de la institución anfitriona.


El grupo cree que es imperativo ampliar el contenido de la revista desde el punto de vista geográfico y temático. Es preocupante que la revista pueda seguir siendo viable sin estos cambios.


- Indago fue recomendada para continuar con la acreditación del DHET, pero no para SciELO SA.


El panel recomendó que la revista se ocupe de los temas que actualmente no cumplen con los requisitos para la acreditación del DHET.


"El panel también observa que el actual editor, en respuesta a una serie de críticas, se ha comprometido a abordar la mayoría de estas cuestiones. Una vez completados, estos cambios alinearían la revista con los requisitos para la acreditación del DHET". 


Continuación de la acreditación del DHET


A continuación se muestran los títulos de revistas que recibieron recomendaciones para continuar con la acreditación del DHET y fueron recomendados para SciELO SA:




Se criticó la composición de los consejos de redacción, ya que el equilibrio entre los investigadores emergentes y los consagrados no era el adecuado, o los procesos de nombramiento y rotación de los miembros del consejo de redacción no existían o no se aplicaban de forma fiable.


Desafíos relacionados con la competencia con las revistas internacionales. La necesidad de atraer a un mayor número de autores de toda África y de fuera de ella fue una recomendación recurrente.


Hubo algunos casos de prácticas editoriales deficientes. Algunas revistas se crearon para difundir los resultados de la investigación de una sola organización o institución, mientras que otras pretenden reunir "temas dispares en un contexto interdisciplinario, o dar servicio a la comunidad científica africana".


El comité de revisión indicó que la revisión de estas revistas nacionales se produjo durante la rápida evolución del panorama de la publicación científica. Hubo un aumento de las plataformas de publicación totalmente en línea.


Esto ha supuesto beneficios para la comunidad investigadora, como la rapidez de la publicación, la facilidad de acceso a la investigación publicada y la globalización de los resultados de la investigación. Sin embargo, esto se ha visto empañado, sobre todo, por el azote de las editoriales y revistas "depredadoras", en las que el beneficio prima sobre las normas de publicación.


En todo el proceso de revisión se coincidió en que todas las revistas revisadas cumplían una valiosa función dentro de sus disciplinas.


"En la mayoría de los casos, los revisores consideraron que las estructuras, los sistemas y los procesos asociados a las vías de publicación eran sólidos, con sistemas de gestión sólidos, procesos de revisión por pares aceptables y calendarios de publicación fiables y puntuales".


Según el informe: "Estas revisiones son un buen augurio para la salud y la integridad de nuestro sistema científico, especialmente del sector de la enseñanza superior, que comunica sus conocimientos académicos en gran medida a través de las revistas. Estas revisiones elevan la fiabilidad e integridad de nuestro sistema científico y la de las publicaciones académicas".


El informe señala que el proceso es evolutivo, ya que es iterativo e interactivo con los directores de las revistas. 



**************************


SOUTH AFRICA

Review of science journals shows strengths and weaknesses

Alicia James  09 December 2021


Of the 22 journals in the mathematics and science disciplines evaluated by a review committee of the Academy of Science of South Africa (ASSAf), three were recommended for removal from the accredited list of the Department of Higher Education and Training (DHET).


Five were recommended to be invited to join the Scientific Electronic Library Online South Africa (SciELO SA) and seven were not endorsed for inclusion on this index. Seven were recommended for inclusion on the SciELO SA platform, provided that they implement an open-access model.


Three journals were already listed on the SciELO SA platform.


This was revealed in the recently-released Report on Grouped Peer Review of Scholarly Journals in Mathematics and Science.


The inclusion of journals in these indices means that articles published in them earn the academics or their universities government subsidies. The report is the 12th in a series of discipline-grouped evaluations of South African scholarly journals.


The intention is for all scholarly journals published in South Africa to be subjected to independent, multiple peer review, as part of a quality-assurance process initiated by ASSAf. 


The quality-assurance process is a precursor to the identification of journal titles to be loaded on to the open-access platform, SciELO SA.


“Only open-access journals of sufficiently high quality will be included in this fully indexed, free-online, multinational platform, now also directly featured on the Clarivate Analytics Web of Science (WoS) portal,” said the report.


Review findings


It indicated that the main purpose of the ASSAf review process is for journals to improve the quality of scholarly publication in a way that tallies with traditional scholarly practices – primarily voluntary peer review. “It is not an attempt to control these publications in any way,” explained the report.


Mahlubi Mabizela and Fhumulani Maanda from the division of higher education policy and research development at the DHET said: “Over the past few years, the open access and open science movement has intensified. The DHET has heeded the call and supports open access to quality knowledge.” 


Along with the SciELO SA platform, managed by ASSAf, the DHET has recently included the Directory of Open Access Journals as one of the indexes approved for the purposes of research subsidy from published articles by academics at South African universities.


The review findings are set out below:


ORiON, the journal of the Operations Research Society of South Africa, was recommended for continued accreditation by the DHET, but not for SciELO SA.


The report indicated that the “editor-in-chief and members of the board should improve their international standing; board members of high international reputation should be included”. The quality of the papers needs to be improved and the number of papers should be increased. The average time between submission and final publication could be shortened.


The African Journal of Agricultural and Resource Economics was not recommended for continued accreditation with the DHET nor for SciELO SA. 


The panel recommended that the editorial board have more representation from the African continent. “The journal should improve its website and follow the design models of other good international journals.”


The African Journal of Science, Technology, Innovation and Development was recommended for continued DHET accreditation but not for accreditation with SciELO SA.


“The editor should strongly reconsider the issue of publishing papers of which he or other editorial board members are authors or co-authors. This constitutes a serious conflict of interest and contravenes acceptable codes of editorial practice,” the report indicated.


The Journal for New Generation Sciences was not recommended for continued DHET accreditation nor for SciELO SA.


The panel has serious concerns about the title, composition of the editorial board, ratio between acceptance and rejection of manuscripts, impact and citation figures for published papers, and “the lack of alignment between the journal title and most of the content”, the report said.


Annals of the Ditsong National Museum of Natural History was recommended for continued DHET accreditation but not recommended for SciELO SA.


The panel noted that the journal does not align with the requisites for DHET accreditation. It conceded that the new editor has committed to most of the suggested changes and improvements which, when completed, would align the journal with the requirements for DHET accreditation.


The Durban Natural Science Museum Novitates was not recommended for continued accreditation by the DHET nor for SciELO SA. 


The panel recommended that the journal address issues including the number of annual published articles, and the high proportion of articles that emanate (with or without external co-authors) from the host institution.


The panel believed that it is imperative to expand the breadth of content of the journal geographically and subject matter-wise. Whether the journal can remain viable without these changes is a concern.


Indago was recommended for continued DHET accreditation but not recommended for SciELO SA.


The panel recommended that the journal should address the issues that do not currently comply with the requirements for DHET accreditation.


“The panel also notes that the current editor, in response to a range of criticisms, has committed to addressing most of these issues. Once completed, such changes would align the journal with the requisites for DHET accreditation.”


Continued DHET accreditation


Below are journal titles that received recommendations for continued DHET accreditation and were recommendation for SciELO SA:





A robust process


There was criticism about the composition of editorial boards, whereby the balance between emerging and established researchers was not appropriate, or processes for the appointment and turnover of editorial board members were either absent or not reliably implemented.


Challenges related to competing with international journals. The need to attract a wider authorship from across Africa and beyond, was a recurring recommendation.


There were a few instances of weak editorial practices. Some journals were established to disseminate the research outputs of a single organisation or institution, while others aim to bring together “disparate themes in an interdisciplinary context, or to service the African science community”.


The review committee indicated that the review of these national journals occurred during the rapidly evolving landscape of scientific publishing. There was an increase in fully online publishing platforms.


This has resulted in benefits to the research community, including the speed of publication, the ease of access to published research and the globalisation of research outputs. However, this has been marred by, particularly, the scourge of ‘predatory’ publishers and journals, where profit takes precedence over publication standards.


There was agreement across the review process that all the journals that had been reviewed served a valuable purpose within their disciplines.


“In most cases, the reviewers found that the structures, systems and processes associated with the publication pipelines were robust, with sound handling systems, acceptable peer-review processes, and reliable and timeous publication schedules.”


The report said: “These reviews augur well for the health and integrity of our science system, especially the higher education sector which communicates its scholarly knowledge largely through the journals medium. These reviews uplift the reliability and integrity of our science system and that of scholarly publications.”


The report said the process is developmental, as it is iterative and interactive with the journals’ editors-in-chief. 


************


LIBRO: Academic Integrity and Research Quality

 Integridad académica y calidad de la investigación [PDF, 8.4 MB, 182 págs]. Publicado recientemente por la Commission University de India









lunes, 13 de diciembre de 2021

BRASIL: el país de la región con más publicaciones COVID-19 en 2020

Publicado en SciDevNet
https://www.scidev.net/america-latina/news/brasil-el-pais-de-la-region-con-mas-publicaciones-covid-19-en-2020/?utm_source=SciDev.Net&utm_medium=email&utm_campaign=12866116_2021-12-13%20Weekly%20Email%20Digest%20-%20Am%C3%A9rica%20Latina%20y%20el%20Caribe%20Template.%20For%20Communication&dm_i=1SCG,7NRK4,665LFG,V7HC7,1



Brasil, el país de la región con más publicaciones COVID-19 en 2020

13/12/21

De un vistazo
  • Brasil estuvo entre los 12 países que más publicaron sobre COVID-19
  • Las instituciones públicas son las responsables por gran parte de esta producción
  • Tres agencias de financiamiento público fueron las que más invirtieron en las investigaciones

En 2020, solo cuatro países concentraron 60 por ciento de la producción de artículos científicos sobre COVID-19. En América Latina, Brasil fue el más productivo, pero se ubicó lejos de las naciones que publicaron más.

Los datos surgen de un artículo publicado en los Anales de la Academia Brasileña de Ciencias (ABC), que analizó la producción científica relacionada con COVID-19. A partir de esa revisión contabilizó casi 61.000 artículos publicados entre el 1 de enero y el 13 de diciembre de 2020, e indexados en la base de datos Web of Science (WoS, en las siglas en inglés).

El objetivo era proporcionar una descripción general del esfuerzo colectivo mundial de la ciencia durante el primer año de la pandemia.

“Vimos que Brasil, incluso con todas las restricciones presupuestarias para la ciencia, logró una producción sobresaliente. Sí, hay una élite científica, pero algunos países logran figurar bien en este grupo gracias al esfuerzo de los investigadores y su dedicación”. Ana Cristina Simões e Silva, Facultad de Medicina de la Universidad Federal de Minas Gerais (UFMG)

De la muestra, casi 60 por ciento de los artículos corresponden a trabajos producidos por investigadores de Estados Unidos (aproximadamente 28 por ciento), China, Italia e Inglaterra (entre 10 y 12 por ciento cada uno).

Además, se destaca la contribución de otros ocho países —India, Canadá, Alemania, España, Australia, Brasil, Irán y Turquía— que sumados a los otros cuatro representan 95 por ciento de la producción científica mundial en 2020. De Brasil se encontraron 2.582 artículos (alrededor de 4 por ciento).

La revisión de trabajos mostró que las publicaciones estuvieron más concentradas en la segunda mitad de 2020 y que se distribuyó en más de 6.000 revistas, con énfasis para el grupo editorial Lancet, The British Medical Journal y el grupo Nature. De los 15 artículos más citados a nivel mundial, ninguno fue de América Latina.

La muestra estuvo más concentrada en la segunda mitad de 2020 y se distribuyó en más de 6.000 revistas, con énfasis para el grupo editorial Lancet, The British Medical Journal y el grupo Nature. Crédito de la imagen: Oliveira et al., 2021.

Para Ana Cristina Simões e Silva, una de las autoras del estudio y profesora de la Facultad de Medicina de la Universidad Federal de Minas Gerais (UFMG), existe una relación entre la cantidad de artículos de cada país y cuánto cada uno fue afectado por la pandemia, así como la capacidad científica ya instalada que permitió la pronta respuesta.

“Vimos que Brasil, incluso con todas las restricciones presupuestarias para la ciencia, logró una producción sobresaliente. Sí, hay una élite científica, pero algunos países logran figurar bien en este grupo gracias al esfuerzo de los investigadores y su dedicación”, comenta, refiriéndose a otros países emergentes de la lista, como India, Irán y Turquía.

De Brasil, los 2.582 artículos tuvieron énfasis en temas de salud pública, medicina, organización del sistema de saludenfermedades infecciosas y abordajes multidisciplinarios.

En relación con las instituciones brasileñas, las seis primeras, correspondientes a más del 50 por ciento de la producción nacional en 2020, son públicas: la Universidad de São Paulo (USP), la Fundación Oswaldo Cruz (Fiocruz) y la Universidad Federal de São Paulo (Unifesp).

“Esto refleja de qué se trata la investigación en Brasil: proviene de universidades públicas y se basa en gran medida en inversiones de agencias de desarrollo tanto nacionales como estatales”, explica Simões e Silva.

En el artículo se destacaron tres patrocinadores principales: el Consejo Nacional de Desarrollo Científico y Tecnológico (CNPq), la Coordinación para el Perfeccionamiento del Personal de Educación Superior (Capes) y la Fundación de Apoyo a la Investigación del Estado de São Paulo (Fapesp).

Poca inversión amenaza la producción brasileña

Gonzalo Vecina Neto, profesor en la Facultad de Salud Pública de la USP, no se sorprende por la posición de Brasil en el ranking. En su opinión, hubo un esfuerzo fantástico por parte de la comunidad científica brasileña. “Logró sobrevivir a la mala gestión de esta administración gubernamental y a la falta de políticas públicas en el área de ciencia y tecnología”, señala, opinando que el desmantelamiento de estas políticas se viene produciendo desde el primer término de la ex-presidenta Dilma Rousseff en 2011.

Para Vecina Neto, la ciencia brasileña no existiría sin instituciones públicas y, por lo tanto, el escenario de falta de inversión es grave. “Gran parte del motor de investigación brasileño es gracias a los estudios de posgrado, y la situación de Capes en la gestión de becas para jóvenes investigadores es crítica”, comenta.

En las acciones del país relacionadas con COVID-19, él destaca dos logros: la secuenciación del genoma del virus causante de la enfermedad, que se llevó a cabo 48 horas después de los primeros casos confirmados en el país, y el aporte de estudios con vacunas.

Según el artículo publicado en los Anales de ABC, hubo “poca literatura publicada sobre vacunas y ensayos clínicos en 2020, aunque Brasil se destaca internacionalmente por su producción de vacunas y programa de vacunación”.

A nivel mundial, el estudio señala que, en 2020, el trabajo académico sobre COVID-19 desplazó a otros temas que generalmente resultan en una gran cantidad de artículos, como la obesidad (con 12.220 publicaciones indexadas en WoS) y la hipertensión (10.120).

Informar datos de investigación durante una pandemia es esencial, pero los autores advierten contra investigaciones poco fiables, que causan mucho daño.

viernes, 10 de diciembre de 2021

La revisión por pares de los puestos académicos y las becas de investigación sigue estando condicionada por las métricas, especialmente cuando el revisor está muy bien clasificado en el ranking

 Publicado en blog Universo abierto



La revisión por pares de los puestos académicos y las becas de investigación sigue estando condicionada por las métricas, especialmente cuando el revisor está muy bien clasificado en el ranking

Liv Langfeldt, Dag W. Aksnes, Ingvild Reymert. Peer review for academic jobs and grants continues to be shaped by metrics, especially if your reviewer is highly ranked. LSE, 16 nov. 2021

Texto completo

El objetivo de la revisión por pares de la investigación y de las juntas de contratación académica es proporcionar un juicio experto e independiente sobre la calidad de las propuestas de investigación y de los candidatos. Según los resultados de una encuesta reciente, Liv Langfeldt, Dag W. Aksnes e Ingvild Reymert, la métrica sigue desempeñando un papel importante en la toma de decisiones, sobre todo en el caso de los revisores que están muy bien clasificados.

Vivimos en una época en la que las métricas sobre las publicaciones científicas y las citas son abundantemente accesibles. Estas métricas ofrecen una visión general y una aportación a la política de investigación, y pueden utilizarse en la evaluación de la investigación por razones buenas -o al menos intrigantes-. En lugar de dedicar tiempo a la lectura de las publicaciones, el recuento de citas, el índice h, el factor de impacto de las revistas o indicadores similares se toman como un atajo para comprender la contribución de un trabajo o el rendimiento de un investigador. Además de ahorrar tiempo, las métricas pueden utilizarse porque se perciben como buenos indicadores de la calidad de la investigación y porque los revisores piensan que las comparaciones basadas en las métricas son más objetivas, justas y fiables que las evaluaciones que no se basan en ninguna métrica. En un estudio reciente se comprobó que las métricas se utilizan con frecuencia a la hora de evaluar las propuestas de subvención y los candidatos a puestos académicos. Además, los investigadores con un historial bibliométrico más sólido aplican con más frecuencia estas medidas en sus evaluaciones de investigación.

La mayoría utilizó métricas en sus revisiones

A pesar de su conveniencia, las métricas son controvertidas. La revisión por pares no está pensada para basarse en las métricas, sino en la experiencia de los pares y su comprensión de la investigación que se está revisando. Para entender mejor el papel de las métricas en las evaluaciones por pares, se utilizaron datos de encuestas para explorar las opiniones y prácticas de los investigadores en todos los campos y contextos académicos en tres países. Tanto para la revisión de las propuestas de subvención como para las evaluaciones de los candidatos a puestos académicos. Una gran mayoría de los revisores indicó que las métricas eran muy o algo importantes a la hora de identificar las mejores propuestas/candidatos. En ambos tipos de evaluaciones, se hizo hincapié en el «impacto de las citas de las publicaciones anteriores» y, sobre todo, en el «número de publicaciones/productividad».

Puntos de vista divergentes

Hubo algunas variaciones entre los tres campos incluidos en el estudio. Los economistas se basaron más en el número de publicaciones que los cardiólogos y los físicos. La variación entre los países (Países Bajos, Noruega y Suecia) fue mínima. Sin embargo, dentro de los tres campos y países hubo variaciones: Mientras que la mayoría consideraba que la métrica era importante, una proporción considerable no la consideraba importante. En otras palabras, hay opiniones divergentes entre los revisores sobre el uso de las métricas, lo que puede afectar a sus revisiones. Cuando actúan como revisores, los académicos tienen mucho poder discrecional y pueden optar por utilizar o no utilizar las métricas, haciendo caso omiso de las directrices (que pueden fomentar o desaconsejar las métricas). Por lo tanto, el resultado de los procesos de revisión puede variar en función de las preferencias individuales de los miembros del panel en cuanto a las métricas.

Los académicos más citados utilizan con más frecuencia la métrica de citas en sus evaluaciones

Resulta significativo que el énfasis en las métricas se corresponda con el propio rendimiento bibliométrico de los encuestados. Los evaluadores con puntuaciones bibliométricas más altas hacían más hincapié en las métricas cuando evaluaban a los candidatos a puestos académicos, y especialmente cuando evaluaban las propuestas de subvención. En el caso de estas últimas, la probabilidad de percibir el número de publicaciones y el impacto de las citas de los candidatos como «muy importantes» aumentó junto con el número de publicaciones de los encuestados, si tenían publicaciones de percentil superior y con la proporción de publicaciones de percentil superior.

¿Se ven afectadas las nociones de calidad de la investigación?

Incluso si las métricas afectan a la revisión por pares, nuestros datos indican que los revisores distinguen entre las características de una buena investigación y la bibliometría como indicadores del posible éxito futuro de un solicitante o una solicitud. Mientras que una gran mayoría señaló que las métricas eran importantes en sus revisiones, sólo una quinta parte indicó que su conclusión se basaba (en parte) en las puntuaciones de las citas o en el factor de impacto de las revistas al responder a la pregunta más general de qué percibían como la mejor investigación en su campo. Muy pocos encuestados indicaron las puntuaciones de las citas o el factor de impacto de las revistas como únicos indicadores de la mejor investigación. Por lo tanto, hay pocos indicios de que consideren los indicadores cuantitativos como un factor decisivo sobre lo que constituye la ciencia eminente.

Impacto en las agendas de investigación

Cuando se aplican a escala del individuo, los indicadores de número de publicaciones e impacto de las citas tienen limitaciones y deficiencias como medidas de rendimiento. No obstante, la encuesta indica un amplio uso de dichos indicadores a esta escala, tanto para la revisión de propuestas de subvención como para la contratación de puestos académicos. El énfasis en las métricas en las evaluaciones de los compañeros puede afectar a la actividad investigadora y a los programas de investigación. Los investigadores -especialmente los que inician su carrera- deben tener en cuenta qué tipo de investigación les ayudará a optar a subvenciones y puestos de trabajo. Si se hace hincapié en el historial cuantificable de los solicitantes en lugar de en el campo de especialización y el potencial de los solicitantes, o en la revisión en profundidad de la investigación propuesta, corremos el riesgo de basar las decisiones sobre la investigación futura en las tendencias pasadas, y los temas fácilmente publicables y muy citados pueden obtener desproporcionadamente más recursos. Además, damos a los jóvenes investigadores incentivos (más fuertes) para hacer el tipo de investigación que parece «segura» en términos de probabilidad de publicaciones y citas, con el fin de aumentar sus posibilidades de éxito en los concursos de subvenciones y puestos académicos.

Organización de evaluaciones justas

¿Qué significa esto para los investigadores que solicitan puestos de trabajo o becas de investigación? A la hora de planificar y utilizar la evaluación por pares, hay que tener en cuenta que los evaluadores -en particular los que obtienen altas puntuaciones- consideran que las métricas son un buen indicador del éxito futuro de los proyectos y los candidatos. Se basan en las métricas de publicación en sus evaluaciones a pesar de las preocupaciones sobre el uso y el mal uso de dichas métricas. En términos más generales, es necesario comprender mejor por qué y cómo se utilizan las métricas en los distintos campos de investigación, y el papel que desempeñan las métricas en el desarrollo de los campos, así como la forma en que el perfil de los paneles de revisión influye en el énfasis en las métricas. A esta escala, la publicación de directrices como el Manifiesto de Leiden para la medición de la investigación y la declaración DORA sobre el uso inadecuado del factor de impacto de las revistas, parecen no haber sido suficientes.

miércoles, 8 de diciembre de 2021

Crean índice gigante y gratuito que permite la minería de textos

Publicado en Nature
https://www.nature.com/articles/d41586-021-02895-8 


Se publica en línea un índice gigante y gratuito de los documentos de investigación del mundo


El catálogo de miles de millones de frases de 107 millones de artículos podría facilitar la búsqueda informatizada de la literatura.


Holly Else


En un proyecto que podría facilitar el análisis informático de los trabajos de investigación de todo el mundo, un tecnólogo estadounidense ha puesto en línea un gigantesco índice de palabras y frases cortas contenidas en más de 100 millones de artículos de revistas, incluidos muchos de pago.


El catálogo, que se publicó el 7 de octubre y es de uso gratuito, contiene tablas con más de 355.000 millones de palabras y fragmentos de frases listados junto a los artículos en los que aparecen. Se trata de un esfuerzo por ayudar a los científicos a utilizar programas informáticos para extraer información de los trabajos publicados aunque no tengan acceso legal a los documentos subyacentes, dice su creador, Carl Malamud. Ha publicado los archivos bajo los auspicios de Public Resource, una corporación sin ánimo de lucro fundada por él en Sebastopol, California. 


Malamud afirma que, como su índice no contiene el texto completo de los artículos, sino sólo fragmentos de frases de hasta cinco palabras, su publicación no infringe las restricciones de derechos de autor de los editores sobre la reutilización de artículos de pago. Sin embargo, un experto jurídico afirma que los editores podrían cuestionar la legalidad de cómo Malamud creó el índice en primer lugar.


Algunos investigadores que han tenido acceso temprano al índice dicen que es un avance importante para ayudarles a buscar en la literatura con software, un procedimiento conocido como minería de textos. Gitanjali Yadav, bióloga computacional de la Universidad de Cambridge (Reino Unido), que estudia los compuestos orgánicos volátiles emitidos por las plantas, dice que pretende peinar el índice de Malamud para elaborar análisis de las sustancias químicas vegetales descritas en los artículos de investigación de todo el mundo. "No hay forma de que yo -o cualquier otra persona- analice o mida experimentalmente la huella química de todas y cada una de las especies vegetales de la Tierra. Gran parte de la información que buscamos ya existe, en la literatura publicada", afirma. Pero los investigadores se ven limitados por la falta de acceso a muchos trabajos, añade Yadav.


El Índice General de Malamud, como él lo llama, pretende resolver los problemas a los que se enfrentan investigadores como Yadav. Los informáticos ya hacen minería de textos para crear bases de datos de genes, fármacos y sustancias químicas que se encuentran en la literatura, y para explorar el contenido de los artículos más rápido de lo que podría leer un humano. Sin embargo, a menudo señalan que los editores controlan en última instancia la velocidad y el alcance de su trabajo, y que los científicos se ven limitados a minar sólo los documentos de acceso abierto, o aquellos artículos a los que ellos (o sus instituciones) están suscritos. Algunos editores han afirmado que los investigadores que desean extraer el texto de artículos de pago necesitan su autorización.


Y aunque los motores de búsqueda gratuitos, como Google Scholar, han indexado -con el acuerdo de los editores- el texto de la literatura de pago, sólo permiten a los usuarios buscar con ciertos tipos de consultas de texto, y restringen la búsqueda automatizada. Esto no permite realizar análisis informáticos a gran escala mediante búsquedas más especializadas, afirma Malamud.


Terabytes de datos


El proyecto de Malamud es su última aventura en una carrera dedicada a la publicación de información bloqueada para su libre acceso en línea, a menudo enfrentándose a desafíos legales. Al principio se centró en la publicación de información jurídica y financiera producida por el gobierno. Pero más recientemente ha centrado su atención en la apertura de la literatura científica.


Empezó con un proyecto para permitir a los científicos leer, pero no leer, un gigantesco almacén de documentos de investigación que tiene en un servidor de la India; una idea en la que dice seguir trabajando. El Índice General permite ahora a cualquiera minar trabajos científicos, pero no tiene su propio portal de búsqueda en la web, por lo que si los científicos quieren buscar en él, tendrán que descargar sus archivos y desarrollar sus propios programas. Malamud espera que los usuarios pongan a disposición de los demás los motores de búsqueda que creen.


En su formato comprimido, el catálogo totaliza casi 5 terabytes, y luego se amplía a 38 terabytes. Además de fragmentos de frases, los archivos incluyen tablas con casi 20.000 millones de palabras clave en la literatura, y tablas con el título, los autores y el DOI (identificador del artículo) de un trabajo, para que los usuarios puedan localizar un trabajo completo si tienen acceso a su lectura.


Michael Carroll, investigador jurídico de la Facultad de Derecho de la American University en Washington DC, afirma que la distribución del índice debería ser legal en todo el mundo porque los archivos no copian lo suficiente un artículo subyacente como para infringir los derechos de autor del editor, aunque las leyes varían según el país. "Los derechos de autor no protegen los hechos ni las ideas, y estos resultados se tratarían como comunicación de hechos derivados del análisis de los artículos protegidos por derechos de autor", afirma.


La única cuestión legal, añade Carroll, es si la obtención y copia de los documentos subyacentes por parte de Malamud se hizo sin infringir las condiciones de los editores. Malamud afirma que tuvo que obtener copias de los 107 millones de artículos a los que se hace referencia en el índice para crearlo; no quiso decir cómo, pero subraya que los investigadores no tendrán acceso a los textos completos de los documentos, que están almacenados en un lugar seguro y no revelado de Estados Unidos.


"Estoy muy seguro de que lo que estoy haciendo es legal. No lo hacemos para provocar una demanda, sino para hacer avanzar la ciencia", afirma.


Nature se puso en contacto con seis editoriales sobre el Índice General para este artículo: todas menos una declinaron hacer comentarios. En un comunicado, Springer Nature dijo que la empresa apoya las iniciativas de investigación abierta que utilizan tecnología y algoritmos para satisfacer las necesidades de los investigadores. "Sin embargo, hemos visto que algunas iniciativas tienen problemas cuando no se han asegurado los derechos necesarios para permitir su sostenibilidad", añade el comunicado. (Springer Nature publica esta revista; el equipo de noticias de Nature es editorialmente independiente de su editor).


Otro investigador jurídico, Arul George Scaria, de la Universidad Nacional de Derecho de Delhi, afirma que cualquier editor que intentara utilizar las leyes de derechos de autor para impedir que los investigadores utilizaran el Índice General "acabaría decepcionándose". La publicación del índice, según Scaria, es un "gran avance por la riqueza de información que ha desvelado de esos 107 millones de artículos de revistas".


lunes, 6 de diciembre de 2021

La Comisión Europea propone una reforma de la evaluación

Publicado en Por un cambio en la Evaluación Científica
https://www.poruncambioenlaevaluacioncientifica.es/2021/12/05/la-comision-europea-propone-una-reforma-de-la-evaluacion/



La Comisión Europea propone una reforma de la evaluación

05/12/2021 por Berta Ollé

La Comisión Europea ha publicado un informe (Towards a reform of the research assessment system) con el fin de fomentar la reforma de la evaluación en las organizaciones científicas europeas. El informe es la síntesis de amplias consultas con agentes concernidos, que tuvieron lugar de marzo a noviembre de 2021.

El informe recoge las opiniones de los agentes, que están alineadas con propuestas como la Declaración de San Francisco (DORA), el Manifiesto de Leiden o los Principios de Hong Kong  de evaluación, sobre las que hay consenso entre muchos expertos en evaluación. El informe subraya los problemas de uniformización (con sesgos elitistas) del uso de indicadores como el Factor de Impacto de revista (JIF), que es el criterio principal en muchas evaluaciones en España. De cara a la adopción de nuevos criterios de evaluación, el documento aboga por la necesidad de:

  • Contextualizar la evaluación según misión, disciplina, tipo de investigación y punto en la carrera personal.
  • Valorar diversidad de contribuciones al equipo y consorcios en colaboraciones.
  • Reconocer las contribuciones en ciencia abierta.
  • Valorar las contribuciones hacia impacto social.

El documento propone una reforma a nivel europeo, pero argumenta que cada organización científica tiene que adoptar de manera autónoma sus criterios de evaluación de acuerdo con sus objetivos y contextos.

Una herramienta de Google permite detectar fácilmente la escritura generada por IA

Publicado en blog  Universo abierto https://universoabierto.org/2024/10/25/una-herramienta-de-google-permite-detectar-facilmente-la-escritur...