Thomson Reuters

Thomson Reuters (2016)

• Este é um guia feito pela empresa Thomson Reuters, especializada em bibliometria, para informar sobre o tema em dez princípios;

• O texto faz questão de mostrar que números podem enganar e que não devem ser usados de forma autoritária, mas sim como um suporte para debates;

• As dez dicas são
• 1. Considere se os dados disponíveis podem se relacionar com o problema;

• 2. Escolha o tipo de publicação, definições de campo e o período temporal;
• Os autores afirmam que a definição de campo pode ser confusa, uma vez que "a realidade é que o trabalho de ninguém encaixa perfeitamente em uma categoria única";

• 3. Decida entre contagem integral ou fracional;
• Para entender essa regra, sinto que o caso prático usado pelos autores deve ser mencionado:
• "Without a way to identify contribution, should each author or institution listed on a paper receive whole or a fractional—a proportionate—share of the paper and, for that matter, the citations that it attracts? Consider a paper by three scientists at three different universities that has been cited 30 times. Should each receive credit for one-third of the paper and, say, 10 citations (one-third of the citations)? Or should each receive a whole publication count and credit for all 30 citations? Another possibility would be to use fractional publication counts but whole citation counts. Measuring this way, each researcher or university would receive credit for one-third of the paper but also for all 30 citations. On the belief that anyone appearing as an author should be able to explain and fully defend the contents of the paper, Thomson Reuters almost always uses whole publication and citation counts. But career concerns and the simple approach of using the length of one’s list of publications as a measure of achievement has brought about much unwarranted authorship. Two fields, in particular, may demand fractional counting: high-energy physics and large-scale clinical trials";

• 4. Julgue se os dados precisam ser editados para remover artefatos;
• Para remoção de artefatos cada artigo deve ser avaliado individualmente, óbviamente essa abordagem apresenta limitações práticas de quantidade;
• Pontos que geram artefatos são: citações negativas, over-citations característica de trabalhos revisionais ou sobre metodologia, e autocitações;
• "Negative citations are few in number: They are rare events, statistically speaking. Scientists typically cite for neutral or positive reasons—to note earlier work or to agree with and build upon it. Assessing whether a citation is positive or negative requires a careful, informed reading of the original paper, and this obviously cannot be attempted with more than a few hundred papers at the most. Of several articles published in which this sort of analysis was attempted, always dealing with a sample of papers in a single field that could be controlled by the analyst, outright negative citations were few, on the order of 5 percent or less. [...] Frequency of citation, many studies have shown, correlates positively with peer esteem. Negative citations, to the degree they appear, are little more than background noise and do not materially affect our analyses."
• Os autores consideram círculos de citação algo pouco prático e que deve enfrentar muitos obstáculos. Não sei se concordo com a visão deles de que nenhum círculos de citação foi efetivo até hoje. Citação abaixo:
• Self-citation or citation circles are not uncommon: Questions are often raised about self-citation and citation circles or cabals, in which a group of researchers agree to cite one another to boost their citation totals. Self-citation is a normal and normative feature of publication, with 25 percent self-citation not uncommon or inordinate in the biomedical literature, according to several studies. It is only natural that when a researcher works on a specific problem for some time, he or she would cite earlier publications from this effort. A medicinal plant biologist, for example, who exhibited 75 percent self-citation in her papers, might be virtually the only person working in this specific area. Someone determined to boost citation counts through unbridled self-citation would need to overcome several obstacles. The first is peer review—objections from reviewers and the journal editor to unnecessary citations and perhaps the absence of citations to other appropriate work. A researcher might aim to publish in lower-impact journals with looser standards of review, but as fewer people would see and cite these articles, the researcher would lose some degree of opportunity for citations from others. It seems a self-defeating strategy. Citation circles call to mind the mythical unicorn; everyone can imagine it, but none have so far been produced."

• 5. Compare semelhante com semelhante;
• Essa é a "regra dourada" da análise de citações segundo os autores. Ela quer dizer que comparação de citações deve ser entre um mesmo tipo de publicação, mesmo campo e mesmo período temporal.

• 6. Use medidas relativas, não apenas contagem absolutas;
• Os autores distinguem abordagens absolutas, mais adequadas a grandes números de citações, e relativas:
• Absolutas: Publicações em revistas indexadas pela Thomson Reuters; publicações por ano em média;  publicações em revistas de alto nível; e número total de citações;
• Relativas: Citações por publicação comparadas a citações de outras publicações no mesmo campo e no mesmo período; citações versus citações esperadas; percentual de publicações citadas versus não citadas comparadas com a média do campo; posição dentro do campo ou entre um grupo de pares por publicações, citações, ou citações por publicação;
• Os autores dedicam espaço para explicar a metodologia da "citação esperada":
• "The goal in arriving at the expected citation score is to come as close as possible to the peers for the paper under review—so that like is compared to like. This is an effective measure for assessing a paper, multiple papers by a researcher, those of a team, and even those of an entire institution. To examine the publication record of an individual, sum all the actual citation counts to the papers and then sum all the expected citation scores for each paper. The next step is to make a ratio of the two to gauge better than average, average, or lower than average performance, and by how much. In this methodology, it is as if an exact double (a “doppelganger”) of the researcher under review is created. This double would be the ideal of the average researcher. Every time the real researcher published a paper, the double would publish one in the same journal, in the same year, and of the same article type. The papers of the double would always achieve the exact average in terms of citations for such papers. The real researcher would not, of course, but the comparison of the two is often enlightening."

• 7. Obtenha medidas múltiplas;
• "The use of multiple measures is a kind of insurance policy against drawing false conclusions from one or two measures alone. The case of the Howard Hughes Investigator demonstrates how using single measures can be misleading. When a variety of different output and impact statistics are collected, whether the subject in question is individuals, groups, or institutions, the multiple measures form a kind of mosaic that describes the influence of the research."

• 8. Reconheça a natureza enviesada dos dados de citação;
• Os autore dizem que em qualquer agrupagem de publicações sempre há um padrão característico, poucas publicações atingem números muito altos de citação enquanto a maioria é pouco citada ou não é citada nunca;
• Ainda não há explicações matemáticas para esse fenômeno nem para determinar qual é a "massa crítica" do número de citações;

• 9. Confirme que os dados coletados são relevantes para o problema;

• 10. Considere se os resultados são razoáveis;
• Para os autores as regras 9 e 10 devem ser consideradas em conjunto, para que os dados sejam continuamente revisados de modo a manter consistência e relevância;
• Os autores fazem questão de lembrar a importância, e consequente responsabilidade, que pesquisas bibliométricas tem como método de avaliação de pesquisadores e instituições, assim como em questões de financiamento;

• Os autores concluem:
• "The goal of bibliometrics is to discover something, to obtain a better, more complete understanding of what is actually taking place in research. This deeper understanding can better inform those charged with making difficult choices about allocating resources, generally in the context of peer review.The overarching rule in using bibliometrics, then, is that the results should be presented openly and honestly, that the analysis should be straightforward in its methodology and simple to explain, so that others can understand and check it. Such transparency will help ensure its appropriate use."