Publicado en INFOTODAY
https://www.infotoday.com/OnlineSearcher/Articles/Metrics-Mashup/The-Research-ReputationIndustrial-Complex-Corporate-Influence-on-the-Research-Ecosystem-153850.shtml
Las métricas de Clarivate, Elsevier y Digital Science se desarrollan esencialmente con fines competitivos, no de colaboración o complementarios. Y la competencia entre los proveedores de bases de datos se basa en la búsqueda de los dólares de suscripción de nuestras organizaciones.
Esto lleva preguntarse hasta qué punto estos proveedores están realmente preocupados por el mal uso de sus propias mezclas de métricas de impacto.
El libro Jim Collins sobre el éxito empresarial titulado Good to Great: Why Some Companies Make the Leap ... and Others Don't (HarperCollins 2001) plantea que hay que asegurarse de que se dispone de los parámetros adecuados para medir el éxito de una organización.
En este sentido, Dempsey señaló que esto sólo se aplica a las organizaciones con ánimo de lucro, no a las de carácter social. Curiosamente, Collins afirma que las métricas basadas en la economía no son los mejores indicadores de la grandeza de las instituciones de investigación. En su lugar, Collins afirma que la evaluación de las organizaciones con vocación social debe enmarcarse en el contexto de la misión particular de esa organización.
Su resumen temático de cómo deben enfocarse estas métricas incluye algunos puntos sobre las métricas de impacto, enmarcadas con estas preguntas: [¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.
Las métricas de impacto deberían hacerse preguntas como: ¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.
Para empezar a crear un sistema de medición significativo se necesita una comprensión clara de la misión de investigación de la organización. Incluso entonces, las métricas desarrolladas serían probablemente específicas de la institución, y a menudo sólo medirían los subproductos del impacto. La comparación del impacto es difícil y a veces puede ser muy subjetiva. Las comparaciones de métricas de tamaño único aplicadas a instituciones (o investigadores o laboratorios) pueden ser tan engañosas como una comparación del JIF para revistas de diferentes disciplinas.
SESGO EN LA INVESTIGACIÓN FINANCIADA POR LA INDUSTRIA: La preocupación por la parcialidad de los resultados de la investigación financiada o patrocinada por la industria no es nueva. Sirve el patrocinio de un proyecto de investigación para reforzar la prioridad, los objetivos y las metas del patrocinador? Una revisión de alcance de 2018 en el American Journal of Public Health analizó 36 estudios y concluyó: "Los estudios patrocinados por la industria tienden a estar sesgados a favor de los productos del patrocinador" (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, "The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review", American Journal of Public Health, v. 108, nº 11; 1 de noviembre de 2018; pp. e9-e16; doi.org/10.2105/AJPH.2018.304677).
Si la financiación de la industria puede empañar el resultado de los estudios de investigación, ¿cómo afecta el hecho de que sean entidades con ánimo de lucro las que proporcionen las métricas de impacto a la percepción del valor de un determinado resultado de investigación (en forma de artículo de revista revisada por pares)?
Web of Science, Dimensions y Scopus son productos que compiten entre sí y que Clarivate, Digital Scholar y Elsevier intentan vendernos como el mejor medio para demostrar el impacto de la investigación.
Las bases de datos de citas se basan en diferentes conjuntos de datos de publicaciones y calculan diferentes valores para la misma métrica (por ejemplo, el recuento de citas o el índice h). Del mismo modo, cada proveedor tiene métricas ligeramente diferentes que sirven para fines idénticos.
¿Es el Article Influence Score del Journal Citation Reports de Clarivate "mejor" o más informativo que el Scimago Journal Rank de Scopus? Ambas métricas a nivel de revista son ratios que parecen ser una consecuencia del factor de impacto de la revista (JIF). Ambas utilizan el análisis de vectores propios para ponderar los recuentos de citas en el numerador y obtener la puntuación (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). Los cálculos del denominador difieren, pero ambos se basan en el número de publicaciones. Los plazos son diferentes (5 años para AIS, 3 para SJR), y los conjuntos de datos son diferentes.
El complejo industrial de reputación de la investigación: La influencia de las empresas en el ecosistema de la investigación
Por Elaine M. Lasda
Volumen 46, Número 4 - Julio/Agosto 2022
Me atreví a viajar en avión en COVID America para asistir a la reunión de otoño de 2021 de la Coalition for Networked Information (CNI), que tuvo lugar los días 13 y 14 de diciembre en Washington, D.C. (cni.org/events/membership-meetings/past-meetings/fall-2021). En la sesión plenaria de apertura, el director del CNI, Clifford Lynch, habló de la topografía de los nuevos avances y tendencias que ve en el amplio terreno de la investigación y la academia. Aunque la charla fue interesante, durante la parte de preguntas y respuestas, una pregunta sobre los indicadores de impacto de la investigación despertó mi interés, ya que quien la formuló utilizó el término "complejo industrial de reputación de la investigación" para describir la excesiva dependencia de métricas e indicadores simplistas en los procesos de evaluación de la investigación.
Resulta que quien utilizó esa frase en su pregunta fue nada menos que la lumbrera de las bibliotecas Lorcan Dempsey, un prodigioso pensador en la profesión de la información con una larga carrera en OCLC. Dempsey tuvo la amabilidad de concederme algo de su tiempo para discutir cuestiones relacionadas con la generación y el perfeccionamiento de las métricas de impacto de la investigación por parte de entidades con fines de lucro, concretamente Elsevier, Clarivate y Digital Science. Dempsey sugirió que los profesionales de la información y los bibliotecarios deberían cuestionar los motivos de los actores comerciales y su papel en la evaluación de la investigación. Dempsey me dejó claro que es un mero observador y que no es en absoluto un experto en cienciometría o en evaluación de la investigación, pero me pareció que su argumento merecía ser reflexionado.
SESGO EN LA INVESTIGACIÓN FINANCIADA POR LA INDUSTRIA
La preocupación por la parcialidad de los resultados de la investigación financiada o patrocinada por la industria no es nueva. Sirve el patrocinio de un proyecto de investigación para reforzar la prioridad, los objetivos y las metas del patrocinador? Una revisión de alcance de 2018 en el American Journal of Public Health analizó 36 estudios y concluyó: "Los estudios patrocinados por la industria tienden a estar sesgados a favor de los productos del patrocinador" (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, "The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review", American Journal of Public Health, v. 108, nº 11; 1 de noviembre de 2018; pp. e9-e16; doi.org/10.2105/AJPH.2018.304677).
Si la financiación de la industria puede empañar el resultado de los estudios de investigación, ¿cómo afecta el hecho de que sean entidades con ánimo de lucro las que proporcionen las métricas de impacto a la percepción del valor de un determinado resultado de investigación (en forma de artículo de revista revisada por pares)? Sabemos que la mayoría de los indicadores de impacto de la investigación son insuficientes para la evaluación de la investigación cuando se utilizan como métrica independiente. Muchos de estos indicadores se utilizan mal, se malinterpretan o se aplican erróneamente en diversos contextos. Web of Science, Dimensions y Scopus son productos que compiten entre sí y que Clarivate, Digital Scholar y Elsevier intentan vendernos como el mejor medio para demostrar el impacto de la investigación.
¿QUÉ SABOR TIENE SU MÉTRICA?
Las bases de datos de citas se basan en diferentes conjuntos de datos de publicaciones y calculan diferentes valores para la misma métrica (por ejemplo, el recuento de citas o el índice h). Del mismo modo, cada proveedor tiene métricas ligeramente diferentes que sirven para fines idénticos. A veces he bromeado sobre este fenómeno de la preferencia de las herramientas de medición de citas basado en el reconocimiento de la marca. Antes de que Dimensions entrara en escena, comparaba las herramientas con las galletas: Web of Science es la Oreo, Scopus es la Hydrox y Google Scholar es la marca genérica de las bases de datos de citas. Llevando la analogía más allá, cada uno tiene su galleta preferida y la elige en función de la necesidad o los valores. ¿Vale la pena pagar el precio extra de una Oreo en lugar de una Hydrox o una galleta genérica? El paquete de la marca de la tienda tiene un mayor número de galletas, pero ¿son de la misma calidad que las galletas de marca?
Ya se ha hecho una idea. El valor de las métricas de citación a veces puede ser simplemente la percepción de las características de marca anunciadas o promocionadas por el proveedor que creó la métrica. Me vienen a la mente características como la calidad de las referencias citadas, el alto número de citas o la cobertura de revistas curadas.
¿Es el Article Influence Score del Journal Citation Reports de Clarivate "mejor" o más informativo que el Scimago Journal Rank de Scopus? Ambas métricas a nivel de revista son ratios que parecen ser una consecuencia del factor de impacto de la revista (JIF). Ambas utilizan el análisis de vectores propios para ponderar los recuentos de citas en el numerador y obtener la puntuación (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). Los cálculos del denominador difieren, pero ambos se basan en el número de publicaciones. Los plazos son diferentes (5 años para AIS, 3 para SJR), y los conjuntos de datos son diferentes.
Las clasificaciones categóricas de los títulos de las revistas cambian un poco en cada cálculo, pero en general, el AIS y el SJR están muy correlacionados. Entonces, ¿tenemos métricas con sabor a chocolate y vainilla, que proporcionan combinaciones de sabores complementarias? Dejando la analogía de las galletas para los sabores de los helados, a mí me parece más bien la diferencia entre el estilo Filadelfia y la vainilla francesa. Se puede preferir uno sobre el otro, pero al final, siguen siendo relativamente intercambiables en términos de sabor. La diferencia es un matiz, y no estoy seguro de que este matiz sea sustantivo para la mayoría de los fines de evaluación.
EL ÁNIMO DE LUCRO Y EL DESARROLLO DE LAS MÉTRICAS
La cuestión es que las métricas de Clarivate, Elsevier y Digital Science se desarrollan esencialmente con fines competitivos, no de colaboración o complementarios. Y la competencia entre los proveedores de bases de datos se basa en la búsqueda de los dólares de suscripción de nuestras organizaciones. Esto me lleva a preguntarme hasta qué punto estos proveedores están realmente preocupados por el mal uso de sus propias mezclas de métricas de impacto. Dempsey planteó un buen punto sobre las clasificaciones institucionales populares: Times Higher Education utiliza datos de Elsevier (vea este vídeo de relaciones públicas: youtube.com/watch?v=-_Lj4KgEqqE). U.S. News and World Report utiliza datos de InCites de Clarivate
(usnews.com/education/best-global-universities/articles/methodology). Apuesto a que estas fuentes de noticias pagan mucho dinero por el privilegio de utilizar los datos suministrados por los proveedores.
Dempsey y yo también hablamos de un libro de 2001 de Jim Collins sobre el éxito empresarial titulado Good to Great: Why Some Companies Make the Leap ... and Others Don't (HarperCollins). Uno de los puntos clave de este libro es asegurarse de que se dispone de los parámetros adecuados para medir el éxito de una organización. Dempsey señaló que esto sólo se aplica a las organizaciones con ánimo de lucro, no a las de carácter social. Curiosamente, el propio Collins lo reconoce en un artículo publicado en 2004 en el Forum for the Future of Higher Education del MIT (library.educause.edu/resources/2004/1/getting-from-good-to-great-in-higher-education). En él, afirma que las métricas basadas en la economía no son los mejores indicadores de la grandeza de las instituciones de investigación. En su lugar, Collins afirma que la evaluación de las organizaciones con vocación social debe enmarcarse en el contexto de la misión particular de esa organización.
Su resumen temático de cómo deben enfocarse estas métricas incluye algunos puntos sobre las métricas de impacto, enmarcadas con estas preguntas: [¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.
Para empezar a crear un sistema de medición significativo se necesita una comprensión clara de la misión de investigación de la organización. Incluso entonces, las métricas desarrolladas serían probablemente específicas de la institución, y a menudo sólo medirían los subproductos del impacto. La comparación del impacto es difícil y a veces puede ser muy subjetiva. Las comparaciones de métricas de tamaño único aplicadas a instituciones (o investigadores o laboratorios) pueden ser tan engañosas como una comparación del JIF para revistas de diferentes disciplinas.
La mayoría de los proveedores tienen grupos de reflexión afiliados que reflexionan y estudian estas cuestiones y proponen soluciones a los dilemas del impacto de la investigación. Por ejemplo, Clarivate ha resucitado el Instituto de Información Científica (ISI) y lo ha reconvertido en un centro de reflexión sobre la cienciometría y el impacto de la investigación (clarivate.com/webofsciencegroup/solutions/isi-institute-for-scientific-information). Elsevier tiene una entidad competidora: El Centro Internacional para el Estudio de la Investigación (ICSR; elsevier.com/icsr). Digital Science no tiene un instituto con marca propia, pero también tiene una colección de artículos de opinión e investigación sobre, bueno, investigación en un subsitio de su presencia en la web titulado: “Challenges” (digital-science.com/challenges).
En general, los documentos e informes de cada una de estas entidades me parecen útiles. Me parecen esfuerzos diligentes, en contraposición a las piezas de relaciones públicas. No obstante, informes como "Profiles Not Metrics" de ISI, uno de mis favoritos (clarivate.com/webofsciencegroup/campaigns/profiles-not-metrics), están diseñados para hacer avanzar el debate sobre las métricas de impacto al tiempo que preservan la integridad y la reputación de sus empresas patrocinadoras.
Y aquí vuelvo a la cuestión de que la investigación financiada por las empresas llega a conclusiones que validan la eficacia, la seguridad y el éxito de la producción de esa empresa. No es de extrañar que los observadores inteligentes caractericen toda la caja de Pandora como un complejo de reputación/industrial de la investigación.
*********************
The Research Reputation-Industrial Complex: Corporate Influence on the Research Ecosystem
By Elaine M. Lasda
Volume 46, Number 4 - July/August 2022
I braved airline travel in COVID America to attend the fall 2021 meeting of the Coalition for Networked Information (CNI), which took place Dec. 13–14 in Washington, D.C. (cni.org/events/membership-meetings/past-meetings/fall-2021). At the opening plenary session, the forward-looking head of CNI, Clifford Lynch, talked about a topography of emerging advances and trends he sees in the broad terrain of research and scholarship. While the talk was interesting, during the Q&A portion, a question about research impact indicators particularly piqued my interest because the questioner used the term “research reputation-industrial complex” to describe the overreliance on simplistic metrics and indicators in research evaluation processes.
As it happened, using that phrase in his question was none other than library luminary Lorcan Dempsey, a prodigious thinker in the information profession with a longtime career at OCLC. Dempsey was gracious enough to give me some of his time to discuss issues related to the generation and refinement of research impact metrics by for-profit entities, namely Elsevier, Clarivate, and Digital Science. Dempsey suggested that info pros and librarians should question the motives of commercial players and their roles in research evaluation. Dempsey made it clear to me that he is merely an observer and by no means an expert in scientometrics or research evaluation, yet I thought his point merited pondering.
BIAS IN INDUSTRY-FUNDED RESEARCHConcerns of bias in the outcomes or results of industry-funded/sponsored research are not new. Does sponsorship of a research project serve to reinforce the priority, aims, and goals of the sponsor? A 2018 scoping review in the American Journal of Public Health analyzed 36 studies and concluded, “Industry-sponsored studies tend to be biased in favor of the sponsor’s products” (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, “The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review,” American Journal of Public Health, v. 108, no. 11; Nov. 1, 2018; pp. e9–e16; doi.org/10.2105/AJPH.2018.304677).
If industry funding can taint the outcome of research studies, how does the fact that it is for-profit entities providing impact metrics affect the perception of value of a given research output (in the form of a peer-reviewed journal article)? We know most research impact indicators are insufficient for research evaluation purposes when used as a standalone metric. Many such indicators are misused, misunderstood, or misapplied in a variety of contexts. Web of Science, Dimensions, and Scopus are competing products that Clarivate, Digital Scholar, and Elsevier are trying to sell us as the best means of demonstrating research impact.
WHAT FLAVOR IS YOUR METRIC?Citation databases draw from different publication datasets and calculate different values for the same metric (for example, citation count or h-index). Likewise, each vendor has slightly different metrics meant to serve identical purposes. I have sometimes joked about this phenomenon of citation metrics tool preference being based on brand recognition. Prior to Dimensions coming on the scene, I would liken the tools to cookies: Web of Science is the Oreo, Scopus is the Hydrox, and Google Scholar is the generic store brand of citation databases. Carrying the analogy further, everyone has their preferred cookie and chooses it based on necessity or values. Is an Oreo really worth the extra price over the Hydrox or generic cookie? You get a higher cookie count from the store brand package, but are the cookies of the same quality as the brand-name cookie counterparts?
You get the idea. The value in citation metrics can sometimes merely be the perception of brand-name characteristics advertised or promoted by the vendor that created the metric. Characteristics like cited reference quality, high citation count, or curated journal coverage come to mind.
Is the Article Influence Score from Clarivate’s Journal Citation Reports “better” or more informative than Scopus’s Scimago Journal Rank? Both journal-level metrics are ratios that seem to be outgrowths of the journal impact factor (JIF). They both use eigenvector analysis to weight the citation counts in the numerator to derive the score (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). The denominator calculations differ, but both are based on publication count. The time frames are different (5 years for AIS, 3 for SJR), and the datasets are different.
The categorical rankings of journal titles do shift somewhat under each calculation, but generally, the AIS and the SJR are highly correlated. So are we getting chocolate-and-vanilla-flavored metrics, providing complementary flavor combinations? Dropping the cookie analogy for ice cream flavors, to me it seems more like the difference between Philadelphia-style vs French vanilla. You may have a preference of one over the other, but in the end, they are still relatively interchangeable in terms of flavor. The difference is nuanced, and I am not sure that this nuance is substantive for most evaluative purposes.
PROFIT MOTIVE AND METRIC DEVELOPMENTThe point is that the metrics from Clarivate, Elsevier, and Digital Science are essentially developed for competitive, not collaborative or complementary, purposes. And the competition between the database vendors is based on pursuit of our organizations’ subscription dollars. This leads me to wonder how genuinely concerned these vendors are in relation to misuse of their own proprietary blends of impact metrics. Dempsey raised a good point about popular institutional rankings: Times Higher Education uses Elsevier data (get a load of this PR video: youtube.com/watch?v=-_Lj4KgEqqE). U.S. News and World Report uses data from Clarivate’s InCites (usnews.com/education/best-global-universities/articles/methodology). I bet these news sources pay big money for the privilege of using the data supplied by the vendors.
Dempsey and I also discussed a 2001 book about business success by Jim Collins called Good to Great: Why Some Companies Make the Leap ... and Others Don’t (HarperCollins). One of the key thrusts of this book is to make certain you have the right metrics by which to gauge an organization’s success. Dempsey noted that this is only applies to profit-driven, not socially driven, organizations. Interestingly, Collins himself acknowledges this in a 2004 article in MIT’s Forum for the Future of Higher Education (library.educause.edu/resources/2004/1/getting-from-good-to-great-in-higher-education). In it, he states that economic-based metrics are not the best indicators of research institution greatness. Instead, Collins says, evaluation of socially driven organizations should be framed within the context of that organization’s particular mission.
His thematic overview of how these metrics should be approached includes some points on metrics of impact, framed with these questions: [T]o what extent can an institution marshal evidence that it has had a unique impact on the world it touches? That is, if the institution didn’t exist, how would the world it touches be different?” Generic metrics like h-index and JIF do not come close to the nuanced metrics needed to get a grasp on these concepts; neither would most research impact metrics.
A crystal-clear understanding of the organization’s research mission is needed to begin to create a meaningful metrics dashboard. Even then, the metrics developed would likely be institution-specific, and often would only measure the byproducts of impact. Comparing impact is squishy and may at times be highly subjective. Apples to apples comparisons of one-size-fits-all metrics applied to institutions (or researchers or laboratories) can be as misrepresenting as a comparison of the JIF for journals in differing disciplines.
Most vendors have affiliated think tanks that ponder and study these issues and propose solutions to research impact quandaries. For example, Clarivate resurrected the Institute for Scientific Information (ISI) and repurposed it as a scientometrics and research impact thought center (clarivate.com/webofsciencegroup/solutions/isi-institute-for-scientific-information). Elsevier has a competing entity: The International Center for the Study of Research (ICSR; elsevier.com/icsr). Digital Science doesn’t have a separately branded institute, but it, too, has a collection of thought pieces and research about, well, research on a subsite of its web presence titled: “Challenges” (digital-science.com/challenges).
I generally find the papers and reports from each of these entities helpful. They seem to me to be diligent efforts, as opposed to public relations pieces. Nonetheless, reports such as “Profiles Not Metrics” from ISI, one of my favorites (clarivate.com/webofsciencegroup/campaigns/profiles-not-metrics), are designed to move the impact metric discussion forward while preserving the integrity and reputation of their sponsor companies.
And here I find myself back to the point about corporate-funded research arriving at conclusions that validate the efficacy, safety, and success of that corporation’s output. No wonder smart observers are characterizing the whole can of worms as a research reputation/industrial complex.
***************
