Gingras, Capítulo 4

Gingras (2016)

A avaliação da pesquisa

• Gingras inicia descrevendo as três principais fontes de dados bibliométricos: Web of Science, Scopus e Google Scholar. As duas primeiras são pagas e possuem alto nível de sistematização e confiabilidade enquanto a última é gratuita mas altamente manipulável por não necessitar de uma revisão por pares para os artigos cadastrados;

• O autor chega a dizer que o acesso fácil e sem críticas ao Google Scholar foi um dos fatores responsáveis pela proliferação de índices avaliativos mal construídos, o que o autor chama de "anarquia avaliativa";

• Gingras destaca os aspectos mercadológicos das bases de dados, uma vez que até 2005, com a entrada do Scopus no mercado, o SCI havia mantido relativamente o mesmo número de cobertura de revistas desde sua criação;

• Gingras ressalta alguns pontos importantes como levar em conta a especificidade de cada campo, lembrar que os bancos de dados não catalogam todas as revistas que existem e que uma revista não catalogada não é pior que as outras por este motivo e que a distribuição das citações é mais importante do que seu número absoluto;

•  O autor critica os indicadores simplistas fazendo um boa analogia, para ele a cifra gerada pelo indicador genérico é um espaço de zero dimensões, uma singularidade, que tenta resumir o espaço multidimensional real, porém só consegue apresentar um número que perdeu todas as informações ricas e diversas do espaço multidimensional do campo em questão;

• O autor então critica os princípios de boas práticas de criação de indicadores criados pelo International Ranking Expert Group, estes são:
• 1. Definir claramente os objetos visados;
• 2. Usar transparência no método;
• 3. Escolher indicadores adequados e válidos;
• 4. Identificar claramente a ponderação e evitar modificá-la;
• 5. Reconhecer a diversidade das instituições;

• Par Gingras, o terceiro princípio não ofere os meios de reconhecer tais indicadores, o quarto princípio é um paradoxo, uma vez que um indicador deve ser suscetível a mudanças se estiver errado em algum ponto, e o quiinto princípio lhe parece utópico;

• Gingras passa para proposições mais normativas, definindo três princípios para um bom indicador:
• Adequação ao objeto - O indicador deve ser usado para o que foi elaborado e nada mais, além de ter que ser possível a verificação de seus resultados por um método independente, geralmente mais qualitativo;

• Homogeinidade na medida - Um indicador deve medir aspectos parecidos do campo, e não pesar diversos parâmetros diferentes de maneira arbitrária;

• Respeito a inércia do objeto - O indicador deve variar de acordo com a inércia do que estuda, por exemplo, universidades possuem alta inércia e, portanto, indicadores anuais não revelarão nada de um ano para o outro, e tais exames anuais são então um desperdício de recursos;

• Gingras finaliza com uma dura crítica a marketingzação das universidades que propagueiam suas colocações em diversas classificações sem se atinar criticamente para as falhas metodológicas ou de mau uso das mesmas, e é mais duro ainda com a dissimulação dos fatos, comum a marketeiros, usados para o convencimento de pais e estudantes;

• Uma última metáfora é tecida: Gingras faz um paralelo com o conto "A nova roupa do imperador" onde o imperador que pensa não estar nu são as universidades e os sistemas de classificação são as vestes falsas que os enganadores ("vendedores de classificação" nos termos de Gingras) lhe "teceram";

• Transcreverei aqui a conclusão do livro:

      A bibliometria é essencial para se cartografar de forma global o estado das pesquisas nun dado momento e num dado lugar e, assim, ultrapassar as percepções locais e anedóticas. Ela permite igualmente identificar tendências em diversas escalas: regional, nacional e mundial, que de outro modo seria possível fazer emergir.

       A bibliometria lança também uma luz no fato de que as práticas de publicação, de citação e de colaboração diferem conforme as disciplinas e as especialidades - ciências socias, humanas, biomédicas, da natureza, engenharias... Todo indicador construído com vistas à avaliação deve, portanto, levar em conta rigorasamente essas diferenças. Ainda que bastante útil, a bibliometria exige ser manipulada com muita prudência e rigor. Assim, as ciências da natureza estão muito globalizadas, o que não é o caso das ciências humanas e sociais, dada a diversidade das culturas. Toda política de pesquisa séria tem de levar em conta a especificidade das práticas das disciplinas e das especialidades sob pena de gerar efeitos perversos e potencialmente desastrosos.

       A multiplicação de indicadores não validados só pode prejudicar as avaliações sérias, que são essenciais ao bom andamento de qualquer organização. A análise crítica dos indicadores imporvisados e das classificações deles decorrente faz lembrar que o diabo se esconde sempre nos pormenores e que o inferno está cheio de boas intenções. Logo, é preciso ir além das generalidades emitidas por aqueles que repetem à saciedade que as classificações estão aí para ficar - sem nunca dizer por que deve ser assim - e abrir essas "caixas-pretas" a fim de interrogar sobre a natureza e o valor de cada indicador utilizado para fundar uma avaliação. Somente esse trabalho racional e técnico garante tomadas de decisão baseadas em dados probantes. Pois, antes de visar classificar um laboratório ou uma universidade entre os "melhores do mundo", é preciso saber o que é "melhor" e sobre quais bases a medida é efetuda. Sem esse trabalho prévio de definição da medida, os capitães de navios que se orientam por bússolas ruins e barômetros deficientes se arriscam a soçobrar ao primeiro obstáculo ou à primeira tempestade...