Publicado en InfoToday
https://www.infotoday.com/OnlineSearcher/Articles/Metrics-Mashup/Whats-in-a-Citation-Motivation-and-Classification-of-Citing-References-154771.shtml
¿Qué hay en una cita? Motivación y clasificación de las citas de referencias
Por Elaine M. Lasda
Volumen 46, Número 5 - Septiembre/Octubre 2022
Para hacer la pregunta "¿Qué hay en una cita?" en contexto histórico, comenzaré con el legendario Eugene Garfield. En 1955, se propuso “proponer un sistema bibliográfico para la literatura científica que pueda eliminar la citación acrítica de datos fraudulentos, incompletos u obsoletos al hacer posible que el académico consciente esté al tanto de las críticas de artículos anteriores” (“Citation Indexes for Science: A New Dimension in Documentation Through the Association of Ideas”, Science, New Series, v. 122, n.º 3159, 15 de julio de 1955, págs. 108–111).
Pero Garfield y otros pronto se dieron cuenta de que rastrear las referencias citadas de un artículo a otro podría aprovecharse para otros fines. En 1979, Garfield, al escribir una defensa del uso del recuento de citas para la evaluación de los investigadores, refuta tres de los motivos de preocupación más comunes en ese momento: autocitas, citas negativas/críticas y citas relacionadas con cuestiones metodológicas. En él, analiza los problemas con el Science Citation Index y el Social Science Citation Index y ofrece contraargumentos sobre por qué los problemas planteados no afectan significativamente la medición de la contribución de un investigador al conocimiento científico: “Sabemos que las tasas de citas dicen algo sobre la contribución realizada. por el trabajo de un individuo, al menos en términos de la utilidad y el interés que el resto de la comunidad científica encuentra en él” (“Is Citation Analysis a Legitimate Evaluation Tool?” Scientometrics, v. 1, no. 4, 1979: pp. 359 –375; garfield.library.upenn.edu/papers/scientometricsv1(4)p359y1979.pdf).
Garfield va tan lejos como para abogar por una métrica que nunca ganó mucha fuerza: el conteo de citas de por vida por artículo. Desarrollado por Geller, et al. en “Lifetime-Citation Rates to Compare Scientists' Work”, y en prensa en el momento de la misiva de Garfield (publicada posteriormente en Social Science Research. v. 7, no. 4, 1978: pp. 345–365), no se hizo popular, hasta donde sé. (Parte de esto puede tener que ver con el lapso de tiempo de 40 años requerido para evaluar completamente la obra de un investigador utilizando esta métrica. La evaluación de la investigación generalmente se basa en un cambio rápido, y el recuento temprano de citas de un nuevo investigador es a veces el indicador por el cual dicho investigador demuestra la promesa de éxito futuro. Los evaluadores de investigación, como financiadores, laboratorios y otras instituciones, no tienen 40 años para esperar una respuesta sobre el historial de influencia/impacto ostensible de un investigador.)
Aún así, Garfield estuvo de acuerdo en que, como medida de evaluación, los recuentos de citas no son "completamente definitivos", afirmando: "Definitivamente son una herramienta interpretativa que requiere juicios reflexivos y sutiles por parte de quienes los emplean". Además, en su conclusión, Garfield señala que hay mucho sobre el significado de las tasas de citación que no sabemos”.
POR QUÉ SE CITA LA INVESTIGACIÓN
Al pensar en las referencias citadas aunque sea por un momento, es lógico pensar que el ímpetu de un investigador para citar un trabajo determinado varía. Ha habido muchos artículos revisados por pares (sin mencionar una serie de artículos de opinión) que consideran posibles justificaciones para citar fuentes en artículos de investigación. Convenientemente, Donqing Lyu, et al. publicó una metasíntesis en 2021 que agrega y clasifica estas diversas motivaciones documentadas (Lyu, D., Ruan, X., Xie, J. y Cheng, Y. “The Classification of Citating Motivations: A Meta-Synthesis,” Scientometrics , v. 126, n.º 4, 2021: págs. 3243–3264, con muro de pago en doi.org/10.1007/s11192-021-03908-z). Comenzaron con 1.771 estudios, de los cuales 38 pasaron los procesos de revisión de criterios y evaluación crítica. Escuche esto: su análisis de los 38 artículos de investigación rigurosos encontró 35 expresiones de motivación para citar investigaciones anteriores. Los redujeron a 13 "temas".
Realmente, sin embargo, cuando llegaron al grano, encontraron dos motivaciones básicas. La primera serían razones “científicas”. Los temas que cuentan como científicos son probablemente lo que usted esperaría: "Antecedentes, Brecha, Base, Comparación y Aplicación". El segundo, llamado "Táctico", se define esencialmente como no científico e incluye temas que denominan "Norma subjetiva, publicidad y búsqueda de ganancias". Otra forma de decirlo: las motivaciones tácticas tienden a estar más relacionadas socialmente, mientras que las motivaciones científicas están más relacionadas retóricamente.
ENTRE EN EL APRENDIZAJE AUTOMÁTICO
En el siglo XXI, la facilidad para procesar grandes cantidades de datos de citas, el desarrollo de identificadores de objetos digitales (DOI) para extraer artículos de investigación con mayor facilidad y el auge del aprendizaje automático han proporcionado a los cienciometristas y a los proveedores de datos de citas nuevas opciones para los análisis bibliométricos tradicionales. El desarrollo de Clarivate's Category-Normalized Citation Impact (CNCI) y derivados Journal Citation Indicator (JCI) y Collaborative CNCI, por ejemplo, ha creado un componente de análisis predictivo en el que se miden los recuentos de citas reales (o recuentos medios de citas) sobre una base o recuentos de citas previstos para una determinada categoría temática.
Ya he expresado anteriormente mi preocupación por la transparencia de este tipo de cálculo (véase mi columna de septiembre/octubre de 2021 y la de mayo/junio de 2022). Al mismo tiempo, veo el valor y las oportunidades que ofrecen el aprendizaje automático y la analítica. Podemos obtener nueva información sobre todo tipo de comportamientos y patrones bibliométricos. Esta actividad ayuda a los cienciometristas y bibliometristas a obtener nuevas y, espero, interesantes perspectivas a través de nuevos métodos de análisis de citas.
Una herramienta especialmente interesante que utiliza el aprendizaje automático y la minería de textos va un paso más allá de los nuevos indicadores de Clarivate. scite (scite.ai) funciona automatizando la clasificación de las referencias citadas en cuatro categorías: de apoyo, de mención, de contraste y no determinada. Cuando conocí scite, me descargué una extensión para el navegador que muestra una ventanita con los recuentos de estas clases de citas cada vez que ves un artículo indexado por la herramienta. Al principio, si se tenía un nombre de usuario, se podía obtener un mínimo de información detallada sobre todas las citas recogidas por scite, pero ahora sólo se pueden ver algunos de los fragmentos en los que se citó el trabajo. Los aspectos más importantes de la herramienta se encuentran tras un muro de pago.
Sin embargo, los profesores y estudiantes de mi institución pueden obtener scite con descuento. ¿Y qué? Pagué una cantidad simbólica por un año de suscripción para ver qué hacía scite y quedé impresionado. Me puse en contacto con scite para obtener más información y hacer algunas preguntas sobre la herramienta. Josh Nicholson, director general y cofundador de scite (linkedin.com/in/joshua-nicholson), me indicó, en primer lugar, que están trabajando activamente con instituciones para que scite esté disponible sin tener que recurrir a la suscripción individual.
Nicholson es biólogo celular. La génesis de scite surgió de una preocupación que él y sus socios tenían sobre los retos en los entornos de investigación, en particular la crisis de reproducibilidad y la confirmación de la validez de los estudios. Vieron la oportunidad de abordar estas cuestiones de un modo diferente: mediante el aprendizaje profundo y la minería de textos.
Para desarrollar scite, el equipo se dispuso a clasificar manualmente las referencias citadas en un conjunto de publicaciones. A continuación crearon un algoritmo para intentar reproducir la clasificación manual. La iteración actual aún cuenta con un conjunto de pruebas en el que se aplican ajustes al algoritmo. Desde su desarrollo, scite ha aprovechado más de 24 acuerdos con editores para ir detrás de los muros de pago y extraer los fragmentos y realizar el análisis del texto. En marzo de 2022, scite afirma tener más de mil millones de "citas inteligentes" en su conjunto de datos (scite.ai/blog/the-next-generation-of-citations-arrives-as-scite-crosses-one-billion-smart-citations). scite es una empresa pequeña, pero aspira a lo grande, contrastando activamente su enfoque con el de proveedores de bases de datos de citas bien financiados como Clarivate, Digital Science y Elsevier.
La clasificación automatizada de citas textuales no es algo nuevo. Conocí esta práctica en 2012, cuando David Milwad, de la empresa británica Linguamatics, habló en la conferencia anual de la SLA. Linguamatics realizó un análisis de procesamiento del lenguaje natural (PLN) de tuits y predijo correctamente la elección del primer ministro británico David Cameron en 2010 (linguamatics.com/blog/trend-analysis-%E2%80%93-can-prediction-be-made). Esto me llevó a preguntarme por qué alguien no había hecho antes este tipo de análisis con referencias citadas a gran escala.
Nicholson explicó que los trabajos de investigación tienen una estructura de frases y una sintaxis mucho más complicadas que las fuentes populares, como las noticias o las redes sociales. Puede que estés pensando: "Duh"; sin embargo, ten en cuenta que los algoritmos de PNL deben ser más complicados para generar resultados precisos. La "segmentación de frases" es la clave... asegurarse de que la herramienta "lee" la parte correcta de una frase para clasificar correctamente la cita. El artículo de Lyu et al. refuerza esta afirmación. Afirman que, aunque su esquema puede utilizarse para automatizar la clasificación de las referencias citadas, las motivaciones tácticas "no se identifican fácilmente mediante el análisis sintáctico del texto".
¿En qué medida clasifica scite las referencias que citan un artículo determinado? Para ser sincero, me costó encontrar un artículo con un número significativo de referencias de citación "contrastadas". Me decidí por el trabajo seminal y algo controvertido de Loftus y Pickrell: "The Formation of False Memories" (Psychiatric Annals, v. 25, nº 12, 1995: pp. 720-725). scite extrajo 542 citas de sus datos obtenidos mediante acuerdos con editoriales. De las 508 que mencionan el artículo de forma neutral, 15 lo apoyan, cuatro lo contrastan y 15 son inclasificables.
He examinado algunos fragmentos de citas inteligentes en cada una de estas categorías. Muchas de las citas neutrales se incluyen en artículos que en realidad se basan en las conclusiones del artículo o adaptan sus métodos. Las citas categorizadas como de apoyo tendían a ser las más precisas, y las cuatro referencias contrastadas eran... vagas en el mejor de los casos; se acercaban mucho en sentimiento a las de la categoría "mención" neutral. Las 15 referencias no clasificables estaban en idiomas distintos del inglés.
Hay una carga de tamaño imperial de otras características geniales en scite, pero las prácticas corporativas definitivamente soportan un mínimo de escrutinio. Los acuerdos de publicación y los conjuntos de datos de scite son de propiedad exclusiva, lo que significa que no podemos saber qué contenido está y no está incluido en los resultados. Los bibliotecarios y los profesionales de la información se han quejado durante mucho tiempo de la falta de listas de publicaciones utilizadas por los índices de citas. En algunos casos, como con Web of Science, las listas que antes no eran públicas ahora están disponibles). Parte del código de scite, pero no todo, está en GitHub (github.com/scitedotai).
Nicholson explica que su empresa necesita capital para seguir trabajando y mejorando, ya que tiene algunos competidores muy bien financiados. Por ahora, lo que quiero decir es que scite arroja luz sobre los tipos de referencias que se citan y que, al observar los fragmentos, quizá haya algunas pistas sobre la motivación de los investigadores que citan para incluir la referencia. Se trata de un objetivo muy diferente al de la evaluación de los investigadores, tarea para la que la transparencia es primordial.
CONTEXTUALIZAR LAS REFERENCIAS CITADAS
scite no es perfecto, pero es un buen comienzo para contextualizar las referencias citadas. Volviendo al artículo de Garfield de 1955, no estoy seguro de que seamos realmente capaces de "eliminar la citación acrítica de datos fraudulentos, incompletos u obsoletos haciendo posible que el investigador concienzudo conozca las críticas de trabajos anteriores". Para empezar, si lo hiciéramos, el sitio web Retraction Watch (retractionwatch.com) no existiría. Además, no creo que me esté pasando de la raya al afirmar que es probable que los investigadores sean cautos a la hora de no pisar los talones a sus colegas, al menos cuando se trata de escribir algo que será sometido a una revisión por pares.
Nicholson me indicó un mercado imprevisto para scite: los estudiantes. Con scite, los estudiantes pueden investigar mejor sus propios ensayos y trabajos viendo cómo otros han citado un artículo asignado o uno que han encontrado en su propia búsqueda. En mis tiempos de bibliotecaria, a este tipo de búsqueda lo llamábamos "cultivo de perlas": tomábamos un artículo muy interesante y obteníamos otros relacionados con él identificando y citando referencias. scite facilita aún más el cultivo de perlas. Los estudiantes no tienen que rebuscar en listas de referencias o índices de citas y luego extraer los artículos. En su lugar, pueden obtener fragmentos a través de scite, acelerando así el proceso de filtrado. (Es de esperar que, después de filtrar, el estudiante extraiga los artículos pertinentes y no se base únicamente en un fragmento).
Como profesionales de la información, podemos utilizar nuestra experiencia para aprender, probar y comprender los matices de herramientas como scite e informar a nuestros usuarios de sus limitaciones. A veces, podemos hacer un seguimiento de los fragmentos producidos en una herramienta como scite y determinar perspectivas adicionales para nuestros clientes/usuarios. Por supuesto, podemos asesorar sobre cómo utilizar los datos de citas en general, y cuándo son y cuándo no son apropiados para la evaluación de la investigación. Nuestros conocimientos básicos sobre la información se ponen a prueba cuando satisfacemos las necesidades de los usuarios en relación con los indicadores de impacto, la contextualización de las referencias citadas y la explicación de los matices de las nuevas herramientas y recursos.
En mi experiencia, nuestra base de conocimientos en este ámbito demuestra el valor verdaderamente significativo de los bibliotecarios y profesionales de la información en todo tipo de entornos en los que se puede encontrar investigación y desarrollo. Mantenerse al día sobre las herramientas de análisis de citas es vital para preservar y aumentar este valor.
Elaine Lasda es coordinadora de comunicación académica y bibliotecaria asociada para el impacto de la investigación y el bienestar social, Universidad de Albany, SUNY.
********************************************
What’s in a Citation? Motivation and Classification of Citing References
By Elaine M. Lasda
Volume 46, Number 5 - September/October 2022
To put the question “What’s in a citation?” in historical context, I’ll start with the legendary Eugene Garfield. In 1955, he set out to “propose a bibliographic system for science literature that can eliminate the uncritical citation of fraudulent, incomplete, or obsolete data by making it possible for the conscientious scholar to be aware of criticisms of earlier papers” (“Citation Indexes for Science: A New Dimension in Documentation Through the Association of Ideas,” Science, New Series, v. 122, no. 3159, Jul. 15, 1955: pp. 108–111).
But Garfield and others soon realized that tracing cited references from article to article could be leveraged for other purposes. In 1979, Garfield, in writing a defense of using citation counts for the evaluation of researchers, refutes three of the commonly held reasons for concern at that time—self-citations, negative/critical citations, and cites related to methodological issues. In it, he discusses problems with the Science Citation Index and Social Science Citation Index and gives counterarguments about why the issues raised do not significantly affect the measurement of a researcher’s contribution to scientific knowledge: “We know that citation rates say something about the contribution made by an individual’s work, at least in terms of the utility and interest the rest of the scientific community finds in it” (“Is Citation Analysis a Legitimate Evaluation Tool?” Scientometrics, v. 1, no. 4, 1979: pp. 359–375; garfield.library.upenn.edu/papers/scientometricsv1(4)p359y1979.pdf).
Garfield goes so far as to advocate for a metric that never gained much traction: the lifetime-citation count per paper. Developed by Geller, et al. in “Lifetime-Citation Rates to Compare Scientists’ Work,” and in press at the time of Garfield’s missive (published subsequently in Social Science Research. v. 7, no. 4, 1978: pp. 345–365), it has not, to my knowledge, become popular. (Part of this may have to do with the 40-year time span required to fully assess a researcher’s oeuvre using this metric. Research evaluation usually relies on a quick turnaround, and a new researcher’s early citation count is sometimes the indicator by which said researcher demonstrates the promise of future success. Research evaluators such as funders, labs, and other institutions do not have 40 years to wait for an answer about a researcher’s record of ostensible influence/impact.)
Still, Garfield agreed that as an evaluative measure, citation counts are not “completely definitive,” stating: “They very definitely are an interpretive tool that calls for thoughtful and subtle judgements on the part of those who employ them.” Also, in his conclusion Garfield notes, [T]here is much about the meaning of citation rates that we do not know.”
WHY RESEARCH IS CITEDThinking about cited references for even a moment, it stands to reason that a researcher’s impetus to cite a given work varies. There have been many peer-reviewed articles (not to mention a swath of opinion pieces) that consider possible justifications for citing sources in research articles. Conveniently, Donqing Lyu, et al. published a meta-synthesis in 2021 that aggregates and classifies these various documented motivations (Lyu, D., Ruan, X., Xie, J., & Cheng, Y. “The Classification of Citing Motivations: A Meta-Synthesis,” Scientometrics, v. 126, no. 4, 2021: pp. 3243–3264; paywalled at doi.org/10.1007/s11192-021-03908-z). They started with 1,771 studies, of which 38 passed the criteria review and critical appraisal processes. Get this: Their analysis on the 38 rigorous research articles found 35 expressions of motivation for citing previous research. They boiled these down to 13 “themes.”
Really, though, when they got down to brass tacks, they found two basic motivations. The first would be “Scientific” reasons. The themes that count as scientific are likely what you would expect: “Background, Gap, Basis, Comparison, and Application.” The second, called “Tactical,” is defined essentially as non-scientific and includes themes they dub “Subjective Norm, Advertising, and Profit-seeking.” Another way of putting it: Tactical motivations tend to be more socially related, whereas Scientific motivations are more rhetorically related.
ENTER MACHINE LEARNINGIn the 21st century, the ease of crunching large amounts of citation data, the development of Digital Object Identifiers (DOIs) to pull research articles more readily, and the rise of machine learning have afforded scientometricians and citation data providers’ new options for traditional bibliometric analyses. The development of Clarivate’s Category-Normalized Citation Impact (CNCI) and derivatives Journal Citation Indicator (JCI) and Collaborative CNCI, for example, has created a component of predictive analytics in that they measure actual citation counts (or mean citation counts) over a baseline or predicted citation counts for a given subject category.
I have expressed concerns about the transparency of this type of calculation previously (see my Sept./Oct. 2021 column and the one from May/June 2022). At the same time, I see the value and the opportunities machine learning and analytics offer. We can glean new information about all kinds of bibliometric behavior and patterns. Such activity helps scientometricians and bibliometricians derive new and hopefully interesting insights through new methods of citation analysis.
One particularly interesting tool using machine learning and text mining goes a step further from Clarivate’s new indicators. scite (scite.ai) works by automating the classification of cited references into four categories: supporting, mentioning, contrasting, and not determined. When I first became aware of scite, I downloaded a browser extension that pops up a little window with the counts for these classes of citations every time you view a paper that is indexed by the tool. Originally, if you had a login, you could get a modicum of detailed information about all of the citations picked up by scite, but now you can only see a few of the snippets where the work was cited. The meaty aspects of the tool are behind a paywall.
However, faculty and students at my institution can obtain scite at a discount. So what the heck? I ponied up a nominal payment for a year’s subscription so I could see what scite is up to, and I was impressed. I reached out to scite to get some background and ask some questions about the tool. Josh Nicholson, CEO and co-founder of scite (linkedin.com/in/joshua-nicholson), indicated to me, first and foremost, that they are actively working with institutions to make scite available without having to go the individual subscription route.
Nicholson’s background is as a cellular biologist. The genesis of scite stemmed from a concern that he and his partners had about challenges in research settings, particularly the reproducibility crisis and confirming the validity of studies. They saw an opportunity to look at these issues in a different way—through deep learning and text mining.
To develop scite, the team set about to manually classify cited references in a set of publications. They then created an algorithm to attempt to replicate the manual classification. The current iteration still has a test set against which tweaks to the algorithm are applied. Since development, scite has leveraged more than 24 publisher agreements to go behind paywalls to pull the snippets and do the text analysis. As of March 2022, scite claims to have more than a billion “smart citations” in its dataset (scite.ai/blog/the-next-generation-of-citations-arrives-as-scite-crosses-one-billion-smart-citations). scite is a small operation but is aiming big, actively contrasting its approach to that of the likes of well-funded citation database vendors such as Clarivate, Digital Science, and Elsevier.
Automated classification of text statements is not at a new thing. I first became aware of the practice in 2012, when David Milwad from the U.K.-based firm Linguamatics spoke at the SLA annual conference. Linguamatics performed a natural language processing (NLP) analysis of tweets and correctly predicted the election of U.K. Prime Minister David Cameron in 2010 (linguamatics.com/blog/trend-analysis-%E2%80%93-can-prediction-be-made). This led me to wonder why someone hadn’t done this type of analysis with cited references on a large scale sooner.
Nicholson explained that research papers have a much more complicated sentence structure and syntax than popular sources such as news or social media. You may be thinking, “Duh”; however, consider how NLP algorithms must then be more complicated to generate accurate results. “Sentence segmentation” is the key issue … making sure the tool “reads” the right part of a sentence to properly classify the citation. Lyu, et al.’s article reinforces this statement. They posit that while their schema can be used to automate classification of citing references, the tactical motivations are “not easily identified through text parsing.”
How well does scite classify references that cite a given paper? To be honest, I struggled to find an article with a significant number of “contrasting” citing references. I settled on Loftus and Pickrell’s seminal and somewhat controversial work: “The Formation of False Memories” (Psychiatric Annals, v. 25, no. 12, 1995: pp. 720–725). scite pulled 542 citation statements from its data garnered via publisher agreements. Of those 508 that mention the article neutrally, 15 support the paper, four contrast, and 15 were unclassifiable.
I looked at a few smart citation snippets in each of these categories. Many of the neutral citations are included in papers that actually build on the paper’s findings or adapt its methods. Citations categorized as supportive tended to be the most accurately categorized, and the four contrasting citing references were … wishy-washy at best; they were very close in sentiment to those in the neutral “mention” category. All 15 of the unclassifiable citing references were in languages other than English.
There is an imperial-sized load of other cool features in scite, yet corporate practices definitely bear a modicum of scrutiny. scite’s publisher agreements and datasets are proprietary, meaning we can’t tell what content is, and is not, included in the results. Librarians and info pros have long howled about the lack of publication lists used by citation indexes. In some cases, such as with Web of Science, formerly non-public lists are now available.) Some, but not all, of scite’s code is on GitHub (github.com/scitedotai).
Nicholson explains that his company needs capital to keep working and improving, since he has some extremely well-funded competitors. For now, my point is that scite sheds an insight on the types of citing references, and in looking at the snippets, there are perhaps some hints at the citing researchers’ motivation for including the reference. This is a very different purpose than the evaluation of researchers, a task for which transparency is paramount.
CONTEXTUALIZING CITED REFERENCESscite may not be perfect, but it is a start at contextualizing cited references. Circling back to the 1955 article from Garfield, I’m not sure we are truly able to “eliminate the uncritical citation of fraudulent, incomplete, or obsolete data by making it possible for the conscientious scholar to be aware of criticisms of earlier papers.” For one thing, if we were, the Retraction Watch website (retractionwatch.com) would not exist. Also, I don’t think I am going too far out on a limb when I allege researchers are likely to be cautious about not stepping on their colleagues’ toes, at least when it comes to writing something that will undergo peer review.
Nicholson indicated to me an unforeseen market for scite: students. Using scite, students are better able to research their own essays and papers by seeing how others have cited an assigned paper or one they’ve found from their own searching. Back in my library school days, we called this type of search “pearl growing,” taking one very on-point article and obtaining others related to it through identifying cited and citing references. scite makes pearl growing even easier. Students don’t have to pore through reference lists or citation indexes and then pull the papers. Instead, they can get snippets through scite, thereby speeding up the filtering process. (One hopes that after filtering, the student pulls the relevant papers and does not just rely on a snippet.)
As info pros, we can use our expertise to learn, test, and understand the nuances of tools like scite and then inform our users of the tools’ limitations. Sometimes, we can follow up on the snippets produced in a tool like scite and determine additional insights for our customers/users. Of course, we can advise on how to use citation data in general, and when it is—and is not—appropriate for research evaluation. Our top-notch information literacy skills are certainly flexed when we meet user needs with regard to impact indicators, contextualizing citing references and explaining the nuances of new tools and resources.
In my experience, our knowledgebase in this area demonstrates the truly meaningful value of librarians and info pros in all kinds of settings where research and development can be found. Staying current on citation analytics tools is vital to preserving and increasing this value.
Elaine Lasda is coordinator for scholarly communication and associate librarian for research impact and social welfare, University at Albany, SUNY.
No hay comentarios:
Publicar un comentario