Publicado en Research Integrity and Peer Review volume 6, Article number: 9 (2021)
Evaluación de la aplicación de las directrices de Promoción de la Transparencia y la Apertura (TOP): el proceso TRUST para calificar las políticas, procedimientos y prácticas de las revistas
Las Directrices para la Promoción de la Transparencia y la Apertura (TOP) describen normas modulares que las revistas pueden adoptar para promover la ciencia abierta. El Factor TOP es una métrica para describir el grado en que las revistas han adoptado las Directrices TOP en sus políticas. Se necesitan métodos sistemáticos e instrumentos de calificación para calcular el Factor TOP. Además, la aplicación de estas políticas de ciencia abierta depende de los procedimientos y prácticas de las revistas, para los que TOP no proporciona normas ni instrumentos de calificación.
Métodos
Describimos un proceso para evaluar las políticas, procedimientos y prácticas de las revistas de acuerdo con las Directrices TOP. Desarrollamos este proceso como parte de la iniciativa Transparency of Research Underpinning Social Intervention Tiers (TRUST) para avanzar en la ciencia abierta en el ecosistema de investigación de intervención social. También proporcionamos nuevos instrumentos para calificar las instrucciones de las revistas a los autores (políticas), los sistemas de presentación de manuscritos (procedimientos) y los artículos publicados (prácticas) de acuerdo con las normas de las Directrices TOP. Además, describimos cómo determinar la puntuación del factor TOP para una revista, calcular la fiabilidad de las calificaciones de la revista y evaluar la coherencia entre las políticas, procedimientos y prácticas de una revista. Como demostración de este proceso, describimos un protocolo para estudiar aproximadamente 345 revistas influyentes que han publicado investigaciones utilizadas para informar sobre políticas basadas en la evidencia.
Discusión
El Proceso TRUST incluye métodos sistemáticos e instrumentos de calificación para evaluar y facilitar la aplicación de las Directrices TOP por parte de las revistas de todas las disciplinas. Nuestro estudio de las revistas que publican investigaciones influyentes de intervención social proporcionará una descripción completa de si estas revistas tienen políticas, procedimientos y prácticas que son coherentes con las normas de la ciencia abierta y, por lo tanto, facilitan la publicación de resultados fiables para informar a la política basada en la evidencia. A través de esta demostración, esperamos identificar formas de perfeccionar las Directrices TOP y el Factor TOP. Los perfeccionamientos podrían incluir: la mejora de las plantillas para su adopción en las instrucciones de las revistas a los autores, los sistemas de presentación de manuscritos y los artículos publicados; la revisión de la orientación explicativa destinada a mejorar el uso, la comprensión y la difusión de las Directrices TOP; y la aclaración de las distinciones entre los diferentes niveles de aplicación.
----------------------------------------------
Abstract
Background
The Transparency and Openness Promotion (TOP) Guidelines describe modular standards that journals can adopt to promote open science. The TOP Factor is a metric to describe the extent to which journals have adopted the TOP Guidelines in their policies. Systematic methods and rating instruments are needed to calculate the TOP Factor. Moreover, implementation of these open science policies depends on journal procedures and practices, for which TOP provides no standards or rating instruments.
Methods
We describe a process for assessing journal policies, procedures, and practices according to the TOP Guidelines. We developed this process as part of the Transparency of Research Underpinning Social Intervention Tiers (TRUST) Initiative to advance open science in the social intervention research ecosystem. We also provide new instruments for rating journal instructions to authors (policies), manuscript submission systems (procedures), and published articles (practices) according to standards in the TOP Guidelines. In addition, we describe how to determine the TOP Factor score for a journal, calculate reliability of journal ratings, and assess coherence among a journal’s policies, procedures, and practices. As a demonstration of this process, we describe a protocol for studying approximately 345 influential journals that have published research used to inform evidence-based policy.
Discussion
The TRUST Process includes systematic methods and rating instruments for assessing and facilitating implementation of the TOP Guidelines by journals across disciplines. Our study of journals publishing influential social intervention research will provide a comprehensive account of whether these journals have policies, procedures, and practices that are consistent with standards for open science and thereby facilitate the publication of trustworthy findings to inform evidence-based policy. Through this demonstration, we expect to identify ways to refine the TOP Guidelines and the TOP Factor. Refinements could include: improving templates for adoption in journal instructions to authors, manuscript submission systems, and published articles; revising explanatory guidance intended to enhance the use, understanding, and dissemination of the TOP Guidelines; and clarifying the distinctions among different levels of implementation.
Research materials are available on the Open Science Framework: https://osf.io/txyr3/.
