Dimensions se asocia con la mayor editorial universitaria del mundo (Oxford University Press)

Publicado en Research information
https://www.researchinformation.info/news/dimensions-partner-oup?utm_campaign=RI%20Newsline%2015-08-23&utm_content=Read%20now&utm_term=Research%20Information&utm_medium=email&utm_source=Adestra

Dimensions se asocia con OUP

2 de agosto de 2023

Dimensions se ha asociado con la mayor editorial universitaria del mundo, Oxford University Press (OUP). En virtud del acuerdo, más de 27.000 libros y 500 títulos de revistas de la plataforma de publicación digital Oxford Academic de OUP se indexarán y podrán consultarse en Dimensions.

Esta medida permitirá a los usuarios de Dimensions -un producto de Digital Science- obtener más información de la gran cantidad de datos que contienen estos volúmenes, gracias a la indexación del texto completo y a la mejora de los metadatos, como los datos de afiliación, los datos de financiación, las referencias y los autores correspondientes.

Dimensions cubre millones de publicaciones de investigación conectadas por más de 1.800 millones de citas, subvenciones de apoyo, conjuntos de datos, ensayos clínicos, patentes y documentos de política. Esto incluye 136 millones de publicaciones de 107.000 revistas, 59 servidores de preprints y más de 1,6 millones de libros.

Andrew Sandland, Director de Desarrollo de Negocio de Oxford University Press, ha declarado: "Oxford University Press acoge con satisfacción esta nueva asociación con Digital Science and Dimensions. Tenemos el compromiso de hacer que la investigación que publicamos sea lo más accesible posible para investigadores y académicos, para ayudar a aumentar el acceso a la riqueza de la información y el conocimiento dentro del contenido. Nuestros títulos de Oxford Academic suman actualmente más de 40.000 libros y más de 500 revistas, y estamos encantados de formar parte de la expansión de la base de datos de investigación Dimensions".

Christian Herzog, Director de Producto de Digital Science y cofundador de Dimensions, ha declarado: "Al ser OUP la mayor editorial universitaria del mundo, y al tratarse de una editorial tan importante de libros de humanidades y ciencias sociales, consideramos que esto añade más valor a nuestra base de datos Dimensions, líder mundial. Gracias a esta asociación con OUP, nos complace que Dimensions pueda ampliar aún más su acceso a los datos y seguir ofreciendo las mejores soluciones posibles a la comunidad investigadora mundial."

*****************************************

Dimensions to partner with OUP

2 August 2023

Dimensions has entered a partnership with the world’s largest university press, Oxford University Press (OUP). Under the agreement, more than 27,000 books and 500 journal titles from OUP’s Oxford Academic digital publishing platform will be fully indexed and discoverable in Dimensions.

The move will enable users of Dimensions – a Digital Science product – to obtain further insights from the vast data contained in these volumes, due to full text indexation and improved metadata, such as affiliation data, funding data, references, and corresponding authors. 

Dimensions covers millions of research publications connected by more than 1.8 billion citations, supporting grants, datasets, clinical trials, patents and policy documents. This includes ​​136 million publications from 107,000 journals, 59 preprint servers, and more than 1.6 million books.

Andrew Sandland, Senior Business Development Manager for Oxford University Press, said: "Oxford University Press welcomes this new partnership with Digital Science and Dimensions. We have a commitment to making the research that we publish as accessible as possible for researchers and academics, to help increase access to the wealth of information and knowledge within the content. Our Oxford Academic titles currently number more than 40,000 books and more than 500 journals, and we are pleased to be part of the expansion of the Dimensions research database.”

Christian Herzog, Chief Product Officer for Digital Science and co-Founder of Dimensions, said: “With OUP being the world’s largest university press, and because they’re such an important publisher of books in the humanities and social sciences, we see this as adding further value to our world-leading Dimensions database. Thanks to this partnership with OUP, we’re pleased that Dimensions will be able to further expand its access to data, and continue to provide the best possible solutions to the global research community.” 

Clarivate (dueña de WoS y ProQuest) cambia de liderazgo y se espera que remonte su rezago

Publicado en The Scholarly Kitchen
https://scholarlykitchen.sspnet.org/2023/04/19/clarivate-leadership-products/

¿Se centrará la nueva dirección de Clarivate en sus productos?

Por ROGER C. SCHONFELDAPR 19, 2023

La historia de Clarivate en los últimos cinco años ha sido la historia de dos empresas. Por un lado, ha reforzado sustancialmente su oferta de productos mediante una serie de importantes adquisiciones. En el ámbito de la enseñanza superior, ha reforzado su oferta con la adquisición de ProQuest y su importante cartera de plataformas y productos para la biblioteca académica. Pero, por otro lado, Clarivate ha sido una historia continua de inestabilidad en el liderazgo. Clarivate fue sacada a bolsa por Jerre Stead, y bajo su liderazgo se centró en las grandes adquisiciones y el posicionamiento financiero, más que en la estrategia de producto. Su ruptura con Annette Thomas sirvió para algunos como ilustración perfecta de su desconexión con la comunidad. Ahora, sin embargo, nos dirigimos hacia un nuevo capítulo. Andy Snyder, que dirigió el crecimiento de ProQuest antes de venderla a Clarivate, preside el consejo de Clarivate. El relativamente nuevo director general, Jonathan Gear, parece haber diagnosticado algunos de los retos de la empresa, en particular que el camino hacia el éxito financiero sostenible a largo plazo pasa por el liderazgo del producto, y la empresa parece dispuesta a invertir para abordarlos. Hoy, en un movimiento que afectará directamente al sector de la publicación académica y la educación superior, Clarivate ha anunciado que ha nombrado a Bar Veinstein, un viejo conocido de Ex Libris, presidente de Academic & Government (A&G).

Conocí a Veinstein cuando era presidente de Ex Libris, después de que fuera adquirida por ProQuest, antes de que ProQuest fuera adquirida por Clarivate. En aquella época, estaba dando luz verde a nuevas iniciativas de software empresarial (por ejemplo, el desarrollo del servicio de gestión de información de investigación Esploro y la adquisición de RapidILL) que aprovechaban el liderazgo de Alma en el mercado de plataformas de sistemas bibliotecarios.

En la actualidad, el negocio Clarivate A&G del que Veinstein es responsable incluye no sólo Ex Libris, sino también otros dos importantes conjuntos de propiedades, los negocios de contenidos de ProQuest y los negocios empresariales de investigación de Web of Science. Por último, tras el infructuoso intento de Stead de combinar los negocios de propiedad intelectual, ciencias de la vida y A&G, en gran medida no relacionados entre sí, bajo un único "director de producto", existe una estructura de liderazgo clara para A&G.  La tarea que Veinstein tiene ante sí es clara: racionalizar la unidad de A&G e impulsar la innovación de productos.

No será un esfuerzo menor. En cierto sentido, la lógica de la estrategia de producto de la adquisición de ProQuest no es difícil de articular. Hay dos productos principales, Web of Science (incluido JIF, el Factor de Impacto de las Revistas) y Alma, cada uno de los cuales tiene una cuota de mercado dominante. Debería ser posible desarrollar y comercializar diversos productos adyacentes sobre la base de estos dos. Lamentablemente, aunque muchos de los productos existentes siguen funcionando bien, Clarivate aún no ha cumplido esta promesa.

De hecho, apenas se ha mantenido al día. Clarivate lleva mucho tiempo aprovechándose de su negocio en Web of Science (según muchos informes, desde antes incluso de que existiera Clarivate). Sin duda, este último año Web of Science ha introducido nuevos índices, por ejemplo para preprints, está modernizando sus clasificaciones y ha desarrollado nuevas capacidades para vigilar los registros académicos. Pero, como producto, el CEO Gear lo califica acertadamente de "polvoriento", una situación provocada por la falta de inversión y, por tanto, un "gol en propia meta". El panorama está plagado de competidores, tanto comerciales como de otro tipo.  

En cierto modo, sin embargo, la falta de inversión en Alma puede resultar un riesgo aún más grave. A finales de 2019, Alma se había asegurado la posición dominante en el sector académico, un liderazgo que era particularmente dominante entre las bibliotecas de investigación más grandes (y más lucrativas). Pero, una vez conseguido esto, ha ido a la deriva. Ni ha innovado lo suficiente para afianzar su posición frente a los competidores que le pisan los talones, ni ha introducido una versión reducida de menor precio para expandirse a otros segmentos del mercado. En otoño, la Biblioteca del Congreso anunció que adoptaría el sistema FOLIO respaldado por EBSCO y contribuiría a su pila de código abierto para garantizar que pueda satisfacer las necesidades de la mayor biblioteca de investigación del mundo. En las últimas semanas, hemos visto varios anuncios sobre bibliotecas académicas que abandonan Alma y se pasan a FOLIO, entre ellas las 26 universidades públicas de Georgia. En uno de esos anuncios, un decano de bibliotecas mencionaba que "Este traslado supondrá un ahorro significativo". Podemos esperar que Alma siga perdiendo terreno frente a FOLIO en un futuro previsible.

Para ser justos, puede haber innovación de producto en Clarivate que, debido al calendario, aún no se ha anunciado. Lo que está claro es que Veinstein y su equipo tendrán que acelerar el ritmo no sólo de la innovación en la producción, sino también de la innovación en el mercado.

En cuanto a las adquisiciones, Clarivate se ha mantenido en gran medida congelada, quizá como consecuencia del desplome del precio de sus acciones hace casi dos años. Se le escapó Interfolio, el mayor activo que había salido al mercado, que Elsevier se hizo con él. Aunque Gear ha prometido invertir para competir, no está claro si Clarivate aportará el capital necesario para competir con Elsevier (y también con algunos advenedizos) en el sector A&G en los próximos años.

En el otro lado de la balanza, Clarivate aún no se ha deshecho de ningún activo tras la adquisición de ProQuest, donde es evidente que la estrategia de producto debe replantearse en medio de un mercado en evolución. Por ejemplo, el negocio de los servicios editoriales ha cambiado radicalmente en los últimos años: Elsevier y Wiley han creado carteras impresionantes junto con el crecimiento orgánico de empresas independientes como SilverChair y Morressier. ¿Veremos una estrategia para construir sobre ScholarOne o tendrá más sentido que cambie de manos?

Por último, está la cuestión del talento. No es infrecuente que se produzca cierta rotación de personal durante una adquisición, pero la adquisición de ProQuest por Clarivate fue notable por la marcha de líderes clave. En ese período, un enorme grupo de cerebros de liderazgo ejecutivo, estratégico y de producto se marchó, incluyendo muchas de las mentes líderes detrás de Ex Libris - Veinstein incluido. Aunque parece improbable que Snyder y Veinstein "vuelvan a reunir a la banda", merecerá la pena seguir sus progresos en la recapitalización del talento, especialmente en apoyo de la innovación de productos orientada a las soluciones. Al mismo tiempo, será importante no perder más talento del necesario en este momento de transición.

Snyder y Gear parecen haber diagnosticado el problema y están tratando de resolverlo mediante la reestructuración y la instalación de un nuevo liderazgo en Veinstein. El tiempo dirá si son capaces de posicionar los negocios de A&G para la innovación y el crecimiento en un mercado complejo y en rápida evolución.

***************************

Will New Clarivate Leadership Yield a Renewed Focus on Its Products?

• By ROGER C. SCHONFELD
  
• APR 19, 2023

The story of Clarivate over the past five years has been a tale of two companies. On the one hand, it has substantially strengthened its product offerings through a set of major acquisitions. For higher education, it strengthened its holdings through the acquisition of ProQuest and its important portfolio of platforms and products for the academic library. But on the other hand, Clarivate has been a continuing story of leadership instability. Clarivate was taken public by Jerre Stead, and under his leadership focused on major acquisitions and financial positioning, rather than product strategy. His rupture with Annette Thomas served for some as a perfect illustration of his disconnect with the community. Now, though, we are heading into a new chapter. Andy Snyder, who led ProQuest’s growth before selling it to Clarivate, serves as Clarivate board chair. Relatively new CEO Jonathan Gear seems to have diagnosed some of the company’s challenges, particularly that the road to long-term sustainable financial success runs through product leadership, and the company appears prepared to invest to address them. Today, in a move that will affect the scholarly publishing and higher education sector directly, Clarivate has announced that it has installed Bar Veinstein, an old Ex Libris hand, as president for Academic & Government (A&G).

I got to know Veinstein when he was president of Ex Libris — after it was acquired by ProQuest, before ProQuest was acquired by Clarivate. At that time, he was green-lighting new enterprise software initiatives (for example, the development of the Esploro research information management service and the acquisition of RapidILL) that leveraged Alma’s commanding lead in the library systems platform market.

Today, the Clarivate A&G business for which Veinstein takes responsibility includes not only Ex Libris but also two other important sets of properties, the ProQuest content businesses and the Web of Science research enterprise businesses. Finally — after Stead’s unsuccessful effort to combine the largely unrelated intellectual property, life sciences, and A&G businesses under a single “chief product officer” — there is a clear leadership structure for A&G. The task before Veinstein today is clear: rationalize the A&G unit and drive product innovation.

This will be no small effort. The product strategy logic of the ProQuest acquisition is in one sense not hard to articulate. There are two premier products, Web of Science (including JIF, the Journal Impact Factor) and Alma, each of which holds a commanding market share. It should be possible to develop and market a variety of adjacent products on the foundation that these two provide. Sad to say that, while many existing products continue to perform well, Clarivate has yet to deliver on this promise.

Indeed, it has barely kept up. Clarivate has been coasting on its Web of Science businesses for a long time (by many reports, since before there even was a Clarivate). To be sure, just this past year, Web of Science has introduced new indices, for example for preprints, is modernizing its rankings, and has developed new capabilities to police the scholarly record. But, as a product, CEO Gear rightly describes it as “dusty,” a situation brought on by a lack of investment and therefore an “own goal.” The landscape is rife with competitors, both commercial and otherwise.  

In some ways, though, the lack of investment in Alma may prove to be an even more serious risk. By late 2019, Alma had secured the dominant position in the academic sector, a lead that was particularly commanding among the largest (and most lucrative) research libraries. But, having done so, it has been coasting. It has neither innovated sufficiently to secure its position against competitors nipping at its heels nor has it introduced a stripped-down lower-priced version to expand into other parts of the market. In the fall, the Library of Congress announced it would adopt the EBSCO-supported FOLIO system and contribute to its open source stack to ensure it can meet the needs of the largest research library in the world. In recent weeks, we have seen several announcements about academic libraries moving away from Alma and to FOLIO, including the 26 Georgia public universities. In one such announcement, a dean of libraries mentioned that “This move will result in significant savings.” We can expect to see Alma continue to lose ground to FOLIO for the foreseeable future.

To be fair, there may be product innovation at Clarivate that due to timing has yet to be announced. What is clear, is that Veinstein and team will need to accelerate the pace not only of production innovation but also of moving innovation to market.

In terms of acquisitions, Clarivate has been largely frozen, perhaps a consequence of the collapse of its stock price almost two years ago. It missed out on Interfolio, the biggest asset to come to market, which Elsevier snapped up. While Gear has promised to invest to compete, it is unclear whether Clarivate will bring to bear the capital necessary to compete with Elsevier (and some upstarts as well) in the A&G sector in the years to come.

On the other side of the ledger, Clarivate has yet to dispose of any assets following the ProQuest acquisition, where the product strategy clearly needs to be rethought amid an evolving marketplace. For example, the publisher services businesses have changed dramatically in recent years, with Elsevier and Wiley having built up impressive portfolios alongside the organic growth of independent players like SilverChair and Morressier. Will we see a strategy to build upon ScholarOne or will it make more sense for it to change hands?

Finally, there is a question of talent. It is not uncommon to have some turnover during an acquisition, but the Clarivate acquisition of ProQuest was notable for the departure of key leaders. In that period, an enormous braintrust of executive, strategic, and product leadership departed, including many of the leading minds behind Ex Libris — Veinstein included. While it seems unlikely that Snyder and Veinstein will “get the band back together,” it will be worth following their progress on talent recapitalization particularly in support of solutions-minded product innovation. At the same time, it will be important not to lose any more talent than necessary in this moment of transition.

Snyder and Gear appear to have diagnosed the problem and are moving towards addressing it by restructuring and installing new leadership in Veinstein. Time will tell if they can position the A&G businesses for innovation and growth in a complex and fast-changing marketplace.

El complejo industrial de reputación de la investigación: La influencia de las empresas en el ecosistema de la investigación

Publicado en INFOTODAY
https://www.infotoday.com/OnlineSearcher/Articles/Metrics-Mashup/The-Research-ReputationIndustrial-Complex-Corporate-Influence-on-the-Research-Ecosystem-153850.shtml 

• Las métricas de Clarivate, Elsevier y Digital Science se desarrollan esencialmente con fines competitivos, no de colaboración o complementarios. Y la competencia entre los proveedores de bases de datos se basa en la búsqueda de los dólares de suscripción de nuestras organizaciones.

• Esto lleva preguntarse hasta qué punto estos proveedores están realmente preocupados por el mal uso de sus propias mezclas de métricas de impacto. 

• El libro Jim Collins sobre el éxito empresarial titulado Good to Great: Why Some Companies Make the Leap ... and Others Don't (HarperCollins 2001) plantea que hay que asegurarse de que se dispone de los parámetros adecuados para medir el éxito de una organización.

• En este sentido, Dempsey señaló que esto sólo se aplica a las organizaciones con ánimo de lucro, no a las de carácter social. Curiosamente, Collins afirma que las métricas basadas en la economía no son los mejores indicadores de la grandeza de las instituciones de investigación. En su lugar, Collins afirma que la evaluación de las organizaciones con vocación social debe enmarcarse en el contexto de la misión particular de esa organización.

• Su resumen temático de cómo deben enfocarse estas métricas incluye algunos puntos sobre las métricas de impacto, enmarcadas con estas preguntas: [¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.

• Las métricas de impacto deberían hacerse preguntas como: ¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.

• Para empezar a crear un sistema de medición significativo se necesita una comprensión clara de la misión de investigación de la organización. Incluso entonces, las métricas desarrolladas serían probablemente específicas de la institución, y a menudo sólo medirían los subproductos del impacto. La comparación del impacto es difícil y a veces puede ser muy subjetiva. Las comparaciones de métricas de tamaño único aplicadas a instituciones (o investigadores o laboratorios) pueden ser tan engañosas como una comparación del JIF para revistas de diferentes disciplinas.

• SESGO EN LA INVESTIGACIÓN FINANCIADA POR LA INDUSTRIA: La preocupación por la parcialidad de los resultados de la investigación financiada o patrocinada por la industria no es nueva. Sirve el patrocinio de un proyecto de investigación para reforzar la prioridad, los objetivos y las metas del patrocinador? Una revisión de alcance de 2018 en el American Journal of Public Health analizó 36 estudios y concluyó: "Los estudios patrocinados por la industria tienden a estar sesgados a favor de los productos del patrocinador" (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, "The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review", American Journal of Public Health, v. 108, nº 11; 1 de noviembre de 2018; pp. e9-e16; doi.org/10.2105/AJPH.2018.304677).

• Si la financiación de la industria puede empañar el resultado de los estudios de investigación, ¿cómo afecta el hecho de que sean entidades con ánimo de lucro las que proporcionen las métricas de impacto a la percepción del valor de un determinado resultado de investigación (en forma de artículo de revista revisada por pares)? 

• Web of Science, Dimensions y Scopus son productos que compiten entre sí y que Clarivate, Digital Scholar y Elsevier intentan vendernos como el mejor medio para demostrar el impacto de la investigación. 

• Las bases de datos de citas se basan en diferentes conjuntos de datos de publicaciones y calculan diferentes valores para la misma métrica (por ejemplo, el recuento de citas o el índice h). Del mismo modo, cada proveedor tiene métricas ligeramente diferentes que sirven para fines idénticos. 

• ¿Es el Article Influence Score del Journal Citation Reports de Clarivate "mejor" o más informativo que el Scimago Journal Rank de Scopus? Ambas métricas a nivel de revista son ratios que parecen ser una consecuencia del factor de impacto de la revista (JIF). Ambas utilizan el análisis de vectores propios para ponderar los recuentos de citas en el numerador y obtener la puntuación (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). Los cálculos del denominador difieren, pero ambos se basan en el número de publicaciones. Los plazos son diferentes (5 años para AIS, 3 para SJR), y los conjuntos de datos son diferentes.

El complejo industrial de reputación de la investigación: La influencia de las empresas en el ecosistema de la investigación

Por Elaine M. Lasda

Volumen 46, Número 4 - Julio/Agosto 2022

Me atreví a viajar en avión en COVID America para asistir a la reunión de otoño de 2021 de la Coalition for Networked Information (CNI), que tuvo lugar los días 13 y 14 de diciembre en Washington, D.C. (cni.org/events/membership-meetings/past-meetings/fall-2021). En la sesión plenaria de apertura, el director del CNI, Clifford Lynch, habló de la topografía de los nuevos avances y tendencias que ve en el amplio terreno de la investigación y la academia. Aunque la charla fue interesante, durante la parte de preguntas y respuestas, una pregunta sobre los indicadores de impacto de la investigación despertó mi interés, ya que quien la formuló utilizó el término "complejo industrial de reputación de la investigación" para describir la excesiva dependencia de métricas e indicadores simplistas en los procesos de evaluación de la investigación.

Resulta que quien utilizó esa frase en su pregunta fue nada menos que la lumbrera de las bibliotecas Lorcan Dempsey, un prodigioso pensador en la profesión de la información con una larga carrera en OCLC. Dempsey tuvo la amabilidad de concederme algo de su tiempo para discutir cuestiones relacionadas con la generación y el perfeccionamiento de las métricas de impacto de la investigación por parte de entidades con fines de lucro, concretamente Elsevier, Clarivate y Digital Science. Dempsey sugirió que los profesionales de la información y los bibliotecarios deberían cuestionar los motivos de los actores comerciales y su papel en la evaluación de la investigación. Dempsey me dejó claro que es un mero observador y que no es en absoluto un experto en cienciometría o en evaluación de la investigación, pero me pareció que su argumento merecía ser reflexionado.

SESGO EN LA INVESTIGACIÓN FINANCIADA POR LA INDUSTRIA

La preocupación por la parcialidad de los resultados de la investigación financiada o patrocinada por la industria no es nueva. Sirve el patrocinio de un proyecto de investigación para reforzar la prioridad, los objetivos y las metas del patrocinador? Una revisión de alcance de 2018 en el American Journal of Public Health analizó 36 estudios y concluyó: "Los estudios patrocinados por la industria tienden a estar sesgados a favor de los productos del patrocinador" (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, "The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review", American Journal of Public Health, v. 108, nº 11; 1 de noviembre de 2018; pp. e9-e16; doi.org/10.2105/AJPH.2018.304677).

Si la financiación de la industria puede empañar el resultado de los estudios de investigación, ¿cómo afecta el hecho de que sean entidades con ánimo de lucro las que proporcionen las métricas de impacto a la percepción del valor de un determinado resultado de investigación (en forma de artículo de revista revisada por pares)? Sabemos que la mayoría de los indicadores de impacto de la investigación son insuficientes para la evaluación de la investigación cuando se utilizan como métrica independiente. Muchos de estos indicadores se utilizan mal, se malinterpretan o se aplican erróneamente en diversos contextos. Web of Science, Dimensions y Scopus son productos que compiten entre sí y que Clarivate, Digital Scholar y Elsevier intentan vendernos como el mejor medio para demostrar el impacto de la investigación. 

¿QUÉ SABOR TIENE SU MÉTRICA?

Las bases de datos de citas se basan en diferentes conjuntos de datos de publicaciones y calculan diferentes valores para la misma métrica (por ejemplo, el recuento de citas o el índice h). Del mismo modo, cada proveedor tiene métricas ligeramente diferentes que sirven para fines idénticos. A veces he bromeado sobre este fenómeno de la preferencia de las herramientas de medición de citas basado en el reconocimiento de la marca. Antes de que Dimensions entrara en escena, comparaba las herramientas con las galletas: Web of Science es la Oreo, Scopus es la Hydrox y Google Scholar es la marca genérica de las bases de datos de citas. Llevando la analogía más allá, cada uno tiene su galleta preferida y la elige en función de la necesidad o los valores. ¿Vale la pena pagar el precio extra de una Oreo en lugar de una Hydrox o una galleta genérica? El paquete de la marca de la tienda tiene un mayor número de galletas, pero ¿son de la misma calidad que las galletas de marca?

Ya se ha hecho una idea. El valor de las métricas de citación a veces puede ser simplemente la percepción de las características de marca anunciadas o promocionadas por el proveedor que creó la métrica. Me vienen a la mente características como la calidad de las referencias citadas, el alto número de citas o la cobertura de revistas curadas.

¿Es el Article Influence Score del Journal Citation Reports de Clarivate "mejor" o más informativo que el Scimago Journal Rank de Scopus? Ambas métricas a nivel de revista son ratios que parecen ser una consecuencia del factor de impacto de la revista (JIF). Ambas utilizan el análisis de vectores propios para ponderar los recuentos de citas en el numerador y obtener la puntuación (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). Los cálculos del denominador difieren, pero ambos se basan en el número de publicaciones. Los plazos son diferentes (5 años para AIS, 3 para SJR), y los conjuntos de datos son diferentes.

Las clasificaciones categóricas de los títulos de las revistas cambian un poco en cada cálculo, pero en general, el AIS y el SJR están muy correlacionados. Entonces, ¿tenemos métricas con sabor a chocolate y vainilla, que proporcionan combinaciones de sabores complementarias? Dejando la analogía de las galletas para los sabores de los helados, a mí me parece más bien la diferencia entre el estilo Filadelfia y la vainilla francesa. Se puede preferir uno sobre el otro, pero al final, siguen siendo relativamente intercambiables en términos de sabor. La diferencia es un matiz, y no estoy seguro de que este matiz sea sustantivo para la mayoría de los fines de evaluación.

EL ÁNIMO DE LUCRO Y EL DESARROLLO DE LAS MÉTRICAS

La cuestión es que las métricas de Clarivate, Elsevier y Digital Science se desarrollan esencialmente con fines competitivos, no de colaboración o complementarios. Y la competencia entre los proveedores de bases de datos se basa en la búsqueda de los dólares de suscripción de nuestras organizaciones. Esto me lleva a preguntarme hasta qué punto estos proveedores están realmente preocupados por el mal uso de sus propias mezclas de métricas de impacto. Dempsey planteó un buen punto sobre las clasificaciones institucionales populares: Times Higher Education utiliza datos de Elsevier (vea este vídeo de relaciones públicas: youtube.com/watch?v=-_Lj4KgEqqE). U.S. News and World Report utiliza datos de InCites de Clarivate 

(usnews.com/education/best-global-universities/articles/methodology). Apuesto a que estas fuentes de noticias pagan mucho dinero por el privilegio de utilizar los datos suministrados por los proveedores. 

Dempsey y yo también hablamos de un libro de 2001 de Jim Collins sobre el éxito empresarial titulado Good to Great: Why Some Companies Make the Leap ... and Others Don't (HarperCollins). Uno de los puntos clave de este libro es asegurarse de que se dispone de los parámetros adecuados para medir el éxito de una organización. Dempsey señaló que esto sólo se aplica a las organizaciones con ánimo de lucro, no a las de carácter social. Curiosamente, el propio Collins lo reconoce en un artículo publicado en 2004 en el Forum for the Future of Higher Education del MIT (library.educause.edu/resources/2004/1/getting-from-good-to-great-in-higher-education). En él, afirma que las métricas basadas en la economía no son los mejores indicadores de la grandeza de las instituciones de investigación. En su lugar, Collins afirma que la evaluación de las organizaciones con vocación social debe enmarcarse en el contexto de la misión particular de esa organización.

Su resumen temático de cómo deben enfocarse estas métricas incluye algunos puntos sobre las métricas de impacto, enmarcadas con estas preguntas: [¿Hasta qué punto puede una institución reunir pruebas de que ha tenido un impacto único en el mundo que toca? Es decir, si la institución no existiera, ¿cómo sería diferente el mundo que toca?". Las métricas genéricas como el índice h y el JIF no se acercan a las métricas matizadas necesarias para comprender estos conceptos; tampoco lo harían la mayoría de las métricas de impacto de la investigación.

Para empezar a crear un sistema de medición significativo se necesita una comprensión clara de la misión de investigación de la organización. Incluso entonces, las métricas desarrolladas serían probablemente específicas de la institución, y a menudo sólo medirían los subproductos del impacto. La comparación del impacto es difícil y a veces puede ser muy subjetiva. Las comparaciones de métricas de tamaño único aplicadas a instituciones (o investigadores o laboratorios) pueden ser tan engañosas como una comparación del JIF para revistas de diferentes disciplinas. 

La mayoría de los proveedores tienen grupos de reflexión afiliados que reflexionan y estudian estas cuestiones y proponen soluciones a los dilemas del impacto de la investigación. Por ejemplo, Clarivate ha resucitado el Instituto de Información Científica (ISI) y lo ha reconvertido en un centro de reflexión sobre la cienciometría y el impacto de la investigación (clarivate.com/webofsciencegroup/solutions/isi-institute-for-scientific-information). Elsevier tiene una entidad competidora: El Centro Internacional para el Estudio de la Investigación (ICSR; elsevier.com/icsr). Digital Science no tiene un instituto con marca propia, pero también tiene una colección de artículos de opinión e investigación sobre, bueno, investigación en un subsitio de su presencia en la web titulado:  “Challenges” (digital-science.com/challenges). 

En general, los documentos e informes de cada una de estas entidades me parecen útiles. Me parecen esfuerzos diligentes, en contraposición a las piezas de relaciones públicas. No obstante, informes como "Profiles Not Metrics" de ISI, uno de mis favoritos (clarivate.com/webofsciencegroup/campaigns/profiles-not-metrics), están diseñados para hacer avanzar el debate sobre las métricas de impacto al tiempo que preservan la integridad y la reputación de sus empresas patrocinadoras.

Y aquí vuelvo a la cuestión de que la investigación financiada por las empresas llega a conclusiones que validan la eficacia, la seguridad y el éxito de la producción de esa empresa.  No es de extrañar que los observadores inteligentes caractericen toda la caja de Pandora como un complejo de reputación/industrial de la investigación.

*********************

The Research Reputation-Industrial Complex: Corporate Influence on the Research Ecosystem

By Elaine M. Lasda

Volume 46, Number 4 - July/August 2022

I braved airline travel in COVID America to attend the fall 2021 meeting of the Coalition for Networked Information (CNI), which took place Dec. 13–14 in Washington, D.C. (cni.org/events/membership-meetings/past-meetings/fall-2021). At the opening plenary session, the forward-looking head of CNI, Clifford Lynch, talked about a topography of emerging advances and trends he sees in the broad terrain of research and scholarship. While the talk was interesting, during the Q&A portion, a question about research impact indicators particularly piqued my interest because the questioner used the term “research reputation-industrial complex” to describe the overreliance on simplistic metrics and indicators in research evaluation processes.

As it happened, using that phrase in his question was none other than library luminary Lorcan Dempsey, a prodigious thinker in the information profession with a longtime career at OCLC. Dempsey was gracious enough to give me some of his time to discuss issues related to the generation and refinement of research impact metrics by for-profit entities, namely Elsevier, Clarivate, and Digital Science. Dempsey suggested that info pros and librarians should question the motives of commercial players and their roles in research evaluation. Dempsey made it clear to me that he is merely an observer and by no means an expert in scientometrics or research evaluation, yet I thought his point merited pondering. 

BIAS IN INDUSTRY-FUNDED RESEARCH

Concerns of bias in the outcomes or results of industry-funded/sponsored research are not new. Does sponsorship of a research project serve to reinforce the priority, aims, and goals of the sponsor? A 2018 scoping review in the American Journal of Public Health analyzed 36 studies and concluded, “Industry-sponsored studies tend to be biased in favor of the sponsor’s products” (Fabbri, Alice, Alexandria Lai, Quinn Grundy, Lisa Anne Bero, “The Influence of Industry Sponsorship on the Research Agenda: A Scoping Review,” American Journal of Public Health, v. 108, no. 11; Nov. 1, 2018; pp. e9–e16; doi.org/10.2105/AJPH.2018.304677).

If industry funding can taint the outcome of research studies, how does the fact that it is for-profit entities providing impact metrics affect the perception of value of a given research output (in the form of a peer-reviewed journal article)? We know most research impact indicators are insufficient for research evaluation purposes when used as a standalone metric. Many such indicators are misused, misunderstood, or misapplied in a variety of contexts. Web of Science, Dimensions, and Scopus are competing products that Clarivate, Digital Scholar, and Elsevier are trying to sell us as the best means of demonstrating research impact. 

WHAT FLAVOR IS YOUR METRIC?

Citation databases draw from different publication datasets and calculate different values for the same metric (for example, citation count or h-index). Likewise, each vendor has slightly different metrics meant to serve identical purposes. I have sometimes joked about this phenomenon of citation metrics tool preference being based on brand recognition. Prior to Dimensions coming on the scene, I would liken the tools to cookies: Web of Science is the Oreo, Scopus is the Hydrox, and Google Scholar is the generic store brand of citation databases. Carrying the analogy further, everyone has their preferred cookie and chooses it based on necessity or values. Is an Oreo really worth the extra price over the Hydrox or generic cookie? You get a higher cookie count from the store brand package, but are the cookies of the same quality as the brand-name cookie counterparts?

You get the idea. The value in citation metrics can sometimes merely be the perception of brand-name characteristics advertised or promoted by the vendor that created the metric. Characteristics like cited reference quality, high citation count, or curated journal coverage come to mind.

Is the Article Influence Score from Clarivate’s Journal Citation Reports “better” or more informative than Scopus’s Scimago Journal Rank? Both journal-level metrics are ratios that seem to be outgrowths of the journal impact factor (JIF). They both use eigenvector analysis to weight the citation counts in the numerator to derive the score (jcr.help.clarivate.com/Content/glossary-article-influence-score.htm; scimagojr.com/files/SJR2.pdf). The denominator calculations differ, but both are based on publication count. The time frames are different (5 years for AIS, 3 for SJR), and the datasets are different. 

The categorical rankings of journal titles do shift somewhat under each calculation, but generally, the AIS and the SJR are highly correlated. So are we getting chocolate-and-vanilla-flavored metrics, providing complementary flavor combinations? Dropping the cookie analogy for ice cream flavors, to me it seems more like the difference between Philadelphia-style vs French vanilla. You may have a preference of one over the other, but in the end, they are still relatively interchangeable in terms of flavor. The difference is nuanced, and I am not sure that this nuance is substantive for most evaluative purposes.

PROFIT MOTIVE AND METRIC DEVELOPMENT

The point is that the metrics from Clarivate, Elsevier, and Digital Science are essentially developed for competitive, not collaborative or complementary, purposes. And the competition between the database vendors is based on pursuit of our organizations’ subscription dollars. This leads me to wonder how genuinely concerned these vendors are in relation to misuse of their own proprietary blends of impact metrics. Dempsey raised a good point about popular institutional rankings: Times Higher Education uses Elsevier data (get a load of this PR video: youtube.com/watch?v=-_Lj4KgEqqE). U.S. News and World Report uses data from Clarivate’s InCites (usnews.com/education/best-global-universities/articles/methodology). I bet these news sources pay big money for the privilege of using the data supplied by the vendors. 

Dempsey and I also discussed a 2001 book about business success by Jim Collins called Good to Great: Why Some Companies Make the Leap ... and Others Don’t (HarperCollins). One of the key thrusts of this book is to make certain you have the right metrics by which to gauge an organization’s success. Dempsey noted that this is only applies to profit-driven, not socially driven, organizations. Interestingly, Collins himself acknowledges this in a 2004 article in MIT’s Forum for the Future of Higher Education (library.educause.edu/resources/2004/1/getting-from-good-to-great-in-higher-education). In it, he states that economic-based metrics are not the best indicators of research institution greatness. Instead, Collins says, evaluation of socially driven organizations should be framed within the context of that organization’s particular mission.

His thematic overview of how these metrics should be approached includes some points on metrics of impact, framed with these questions: [T]o what extent can an institution marshal evidence that it has had a unique impact on the world it touches? That is, if the institution didn’t exist, how would the world it touches be different?” Generic metrics like h-index and JIF do not come close to the nuanced metrics needed to get a grasp on these concepts; neither would most research impact metrics. 

A crystal-clear understanding of the organization’s research mission is needed to begin to create a meaningful metrics dashboard. Even then, the metrics developed would likely be institution-specific, and often would only measure the byproducts of impact. Comparing impact is squishy and may at times be highly subjective. Apples to apples comparisons of one-size-fits-all metrics applied to institutions (or researchers or laboratories) can be as misrepresenting as a comparison of the JIF for journals in differing disciplines.

Most vendors have affiliated think tanks that ponder and study these issues and propose solutions to research impact quandaries. For example, Clarivate resurrected the Institute for Scientific Information (ISI) and repurposed it as a scientometrics and research impact thought center (clarivate.com/webofsciencegroup/solutions/isi-institute-for-scientific-information). Elsevier has a competing entity: The International Center for the Study of Research (ICSR; elsevier.com/icsr). Digital Science doesn’t have a separately branded institute, but it, too, has a collection of thought pieces and research about, well, research on a subsite of its web presence titled: “Challenges” (digital-science.com/challenges).  

I generally find the papers and reports from each of these entities helpful. They seem to me to be diligent efforts, as opposed to public relations pieces. Nonetheless, reports such as “Profiles Not Metrics” from ISI, one of my favorites (clarivate.com/webofsciencegroup/campaigns/profiles-not-metrics), are designed to move the impact metric discussion forward while preserving the integrity and reputation of their sponsor companies.

And here I find myself back to the point about corporate-funded research arriving at conclusions that validate the efficacy, safety, and success of that corporation’s output.  No wonder smart observers are characterizing the whole can of worms as a research reputation/industrial complex.

***************