Gingras, Capítulo 3

Gingras (2016)

A multiplicação das avaliações

• Gingras afirma que os processos avaliativos não são novos, mas que na verdade remontam ao processo de institucionalização da ciência, a partir do século XVII. Segundo ele, as publicações, demandas, currículos, verbas, promoções, departamentos, programas e universidades já são avaliados a muito tempo;

• Gingras narra brevemente as transformações dos artigos científicos, antes publicado em revistas generalistas, estes passaram a se concentrar cada vez mais em revistas especializadas. O autor afirma que até o início do século XX, não havia grande critério avaliativo para se aceitar uma publicação além da avaliação dos editores e/ou de um especialista no tema, Gingras ainda informa que as taxas de rejeição eram bem baixas.

• O autor diz que a avaliação por pares também é usada para analisar as demandas por verbas. A partir da institucionalização da ciência surgiram agências governamentais dedicadas ao controle dos recursos para pesquisa. Inicialmente os pedidos de verbas eram analisados por comissões pouco sistematizadas, e dependiam do julgamento pessoal de cada um dos membros, uma maneira bem subjetiva de decidir quem deve ou não receber os recursos para sua pesquisa. Para diminuir a subjetividade, sistemas numéricos foram adotados, porém Gingras afirma:
• "A "quantificação" dos julgamentos recolhidos [...] não afeta em nada o caráter fundamentalmente subjetivo do julgamento, limita-se a dissimulá-lo sob a aparente objetividade do número. [...] a avaliação numérica de fato servindo apenas para controlar as discussões e tentar fazer convergir-las mais rapidamente a uma decisão coletiva."

• A bibliometria foi utilizada como ferramenta avaliativa desde, pelo menos, as anos 1970, incluindo a avaliação de pesquisadores individuais. Gingras parafraseia Garfield, afirmando que os dados bibliométricos devem auxiliar o julgamento e nunca deve-se permitir que o número de citações substitua um julgamento ponderado, o mesmo vale para as classificações das revistas que não devem ser usadas para classificar pesquisadores;

• Em consonância com a busca por sistema mais objetivo de avaliação, com o rápido aumento de pesquisadores e publicações e o surgirmento do index informatizado SCI inciciou-se o uso da bibliometria como forma de avaliar a comunidade científica a partir dos anos 1970;

• Em seguida há uma crítica detalhada sobre o índice H, criado por Hirsch e definido como "igual ao número de artigos n que um pesquisador publicou e que obteve pelo menos n citações cada um desde sua publicação". Vale lembrar que artigos pouco citados são descartados, assim como artigos isolados com muitas citações. Para Gingras, este índice é uma combinação de medidas de produtividade e de impacto, porém combina arbitrariamente os artigos publicados e as citações de um pesquisador;
• Gingras critica que este indice é altamente dependente do númer de artigos publicado e, portanto, não serve como uma forma de cincundar a avaliação de um profissional por uma mera contagem de publicações;

• O autor também mostra que o índice é incoerente quanto a autores cujo número de citações aumenta proporcionalmente;

• O autor chega a dizer que o índice H é mal construído e usado de maneira pouco crítica, inclusive sem os conhecimentos necessários para que se entenda seu resutlado.

• O autor termina sua crítica com duas frases que encapsulam seu argumento: 1) Qualquer número é melhor que nenhum número; e 2) Os cientistas que utilizam a bibliometria deveriam consultar os bibliometristas;

• Em 2013, a revista Pesquisa FAPESP publicou um artigo (disponível aqui) escrito por Fabrício Marques sobre o índice H e sua supervalorização. O artigo conta com a participação, por meio de entrevistas, de professores de diversas áreas do conhecimento e pesquisadores da área de política científica, todos brasileiros. Os pontos fortes e fracos do índice H podem ser sumarizados na imagem abaixo.

Reitrado de revista Pesquisa FAPESP, ed. 207, 2013. Por Fabrício Marques.

• Após o índice H, Gingras volta sua atenção para o fator de impacto das revistas. Ele explica que "o fator de impacto de uma revista consiste numa simples média aritimética do número de citações obtidas pelos artigos de uma dada revista num período de dois anos. O FI caracterizam portanto, revistas e não artigos". A primeira crítica de Gingras é a janela de dois anos, pois assim o FI das revistas de ciências sociais se mostram muito baixos quando comparados as ciências naturais, porém os números se emparelham quando a janela temporal é aumentada para dez anos, algo explicado pela temporalidade maior nas ciências sociais, segundo Gingras;

• Outro ponto levantado é a contagem de autocitações no FI, o que levou os editores a exigirem que mais artigos de suas revistas fossem citados em candidatos para publicação. No entanto, o Journal of Citation Reports, responsável pela publicação dos FIs das revistas indexadas pelo SCI desde 1975, passou a publicar dois valores separados, um contando as autocitações e outro as desconsiderando. Vale lembrar que Gingras frisa a importância de não demonizar as autocitações, uma vez que é lógico esperar que artigos de uma mesma área estejam citados entre si especialmente em áreas pequenas com poucos periódicos especializados.

• O autor também menicona a lista negra de revistas mantida pela Thomson Reuters onde constam revistas que fazem cartéis de citações e outras manipulações de FI;

• Outros pontos mencionados: o FI de uma revista é diretamente relacionado com o tamanho do campo de estudo no qual ela está inserida e a precisão exagerada de quatro dígitos com a qual é calculada o FI, mostrando sua característica altamente competitiva;

• Gingras sumariza suas ideias:
• "Na verdade, pode ser perfeitamente normal que uma revista tente maximizar a visibilidade a visibilidade dos artigos por ela publicados e pedir aos autores para citarem os artigos pertinentes, em lugar de fazer referência apenas a trabalhos anglo-saxões. Com certeza, essas "manipulações" dos fatores de impacto não teriam nenhuma importância e não constituiriam sequer um "desvio"se esse indicador não tivesse se tornado um critério de avaliação. Seja qual for a forma de calcular o FI, ele permanece como uma medida ligada à revista e não ao artigo. A razão fundamental que faz dele um mau indicador do valor dos artigos individuais é que a distribuição das citações reais obtidas pelos artigos de uma mesma revista obedece também a um distribuição do tipo Pareto, da qual a de Lotka é um caso particular. Para esse tipo de distribuição, a média não é uma boa medida de tendência central, a qual supões um distribuição dita "normal", em forma de sino. As curvas de estilo Pareto são ao contrário muito assimétricas e frequentemente se resumem pela fórmula 20/80, significando que 20% dos artigos recebem 80% das citações. [...] Em suma, um artigo publicado numa revista de forte fator de impacto pode na verdade jamais ser citado! Caso se queira medir a visibilidade de um artigo dado, será preciso, portanto, ver as citações realmente obtidas, e não o fator de impacto onde foi publicado."

•  Mais a frente Gingras traz um ponto interessante a tona, diversos estudos confirmam que os pesquisadores ajustam seu comportamento e prática profissional para se enquadrar dentro desses indicadores avaliativos;

• O autor passa a criticar então o sistema de classifiicação de revistar por letras, tal qual é feito pelo sistema Qualis aqui no Brasil. O autor cita diversos efeitos colaterais de tal prática:
• O aumento da taxa de rejeição de artigos, uma vez que os pesquisadores sempre buscarão as revistas A, mesmo elas sendo pouco compatíveis com o artigo proposto;

• A dificuldade do surgimento de novas revistas, pois elas devem conseguir uma nota alta rapidamente para prosperarem. Adiciona aqui que talvez possa haver uma dificultação na "assenção científica" das revistas também;

• Há a diminuição de estudos locais ou de pouco interesse, uma vez que estes são poucos exportáveis nos termos de Gingras, ou seja, não são interessantes para as revistas de alto FI geralmente anglo-saxãs;

• O autor mostra apreço pela expertise em campo, afirmando que os pesquisadores de cada área sabem quais são as revistas boas de sua área e não necessitam de classificações. O autor defende listas de "perímetro de cientificidade", listas sem classificação, apenas constando as revistas de um campo que conformam com um parâmetro científico determinado, ligado principalmente a originalidade dos artigos publicados;

• Gingras sumariza:
• "Pouco sensíveis a essas sutilezas e aos perigos de desvios, os promotores de uma avaliação quantitativa "mecanizada" contribuem de fato para expulsar a dimensão qualitativa, considerada "subjetiva", do processo da avaliação para se apoiarem estritamente nas estatísticas que poderão então ser analisadas por pessoas completamente exteriores à area. Esses peritos já sabem, por definiçãoquais são as boas revistas em sua área e não têm necessidade de uma lista preestabelecida em A, B ou C. Por outro lado, essas classificações permitem a pessoas que ignoram tudo de uma área pretender ainda assim obter um julgamento autorizado. Mas, neste caso, não deveriam justamente fazer parte de uma comissão de avaliação!"