Publicado originalmente em Jornal da UFRGS por Elstor Hanzen. Para acessar, clique aqui.
Revistas científicas | Com a mudança na forma de apreciação da produção do conhecimento na pós-graduação, cada periódico recebe só uma classificação, independentemente da quantidade de áreas em que foi citado, com base em indicadores bibliométricos, o que vem provocando reações entre os pesquisadores
*Foto: Flávio Dutra/JU
O novo Qualis é uma aposta nos indicadores bibliométricos como principal forma de classificação dos periódicos. Para isso, foram usados o Fator de Impacto da Web of Science, o Scientific Journal Ranking (SJR) da Scopus – duas bases internacionais em que a presença de títulos brasileiros não é tão frequente ainda – e o Google Scholar. Esses indicadores foram considerados em todas as áreas de avaliação e estão entre os pontos mais polêmicos da mudança.
Além disso, houve aumento de oito para nove estratos. Na classificação no quadriênio 2013–2016, eram A1, A2, B1, B2, B3, B4 e B5 e C; na última, 2017-2020, são A1, A2, A3, A4, B1, B2, B3, B4 e C, sendo A1 os periódicos de maior relevância e C os de menor relevância. E há a avaliação única, por área-mãe, que também é uma novidade – o Qualis Referência. Esta se dá pela área que tiver o maior número de publicações nos anos de 2017 e 2018 – a quantidade é obtida a partir dos relatórios de avaliação da pós-graduação brasileira. Nos casos de empate, será considerada área-mãe aquela em que o número de publicações no periódico for mais representativo em relação ao total de produções da área. Ou seja, um periódico não mais receberá avaliações individuais para cada área, como ocorria nos quadriênios anteriores.
Assim, uma revista na qual docentes e discentes de programas de pós-graduação não publicaram, não figurará no Qualis. Nas versões anteriores, cada área tinha autonomia para definir critérios de classificação baseados em indicadores bibliométricos, características editoriais, ou prestígio na área. Isso gerava uma situação em que uma mesma revista poderia ser considerada A1 em uma área e B4 em outra. Com o novo modelo, a definição passou a ser na área em que se concentram as produções (área-mãe) e se atribui a mesma classificação para todas as outras – ainda que a área tenha perfis distintos de distribuição dos indicadores bibliométricos para suas revistas. Conforme o coordenador do setor de Tratamento, Análise e Disseminação da Informação Científica do Instituto Brasileiro de Informação em Ciência e Tecnologia (IBICT), Washington Segundo, isso significa que publicações com indicadores muito diferentes podem ter igual Qualis se caírem em áreas-mães distintas.
Ana Gabriela Clipes Ferreira, coordenadora da Comissão Assessora de Apoio à Edição de Periódicos Científicos da UFRGS, destaca que áreas como Educação, Linguística, Letras e Artes, até pouco tempo, não tinham tradição na presença em bases de dados e índices, como as da Scopus e da Web of Science – estas, portanto, não eram considerados nas avaliações de área; enquanto para outras, como as Ciências Agrárias e Ciências Biológicas, isso já era uma realidade há mais tempo.
“Dependendo da área do conhecimento, o impacto pode ser negativo ou positivo. O novo Qualis foi recebido com muita festividade por algumas revistas, enquanto outros títulos e áreas se uniram às manifestações contrárias às novidades do sistema”
Ana Clipes
A Capes trata as mudanças como aprimoramento e afirma que o Qualis é um instrumento específico para a avaliação da pós-graduação brasileira, considerando alguns periódicos nacionais de grande relevância porque possuem larga abrangência e disseminação das produções, gerando impacto positivo para os programas e para a sociedade. “Foi, assim, permitido a algumas áreas subdividirem grupos de periódicos nacionais e internacionais. Essa medida foi um pedido das próprias coordenações das áreas de avaliação, o que reforça a importância do diálogo contínuo com os representantes da comunidade acadêmica”, diz em nota. Segundo a agência, a finalização do processo avaliativo e os estratos foram publicados na Plataforma Sucupira em 2022, assim como a documentação com o histórico da construção do modelo do Qualis Referência e o detalhamento da metodologia adotada.
Indicadores direcionam ações
O novo Qualis pode induzir à produção em outras áreas de pesquisa que não a de origem do discente ou docente, visto que agora publicar fora de sua área não é penalizado como anteriormente. Se a revista é considerada boa na área-mãe, assim será na do pesquisador, porque o Qualis é único. Por outro lado, o Qualis perdeu fortemente a característica qualitativa, ficando baseado exclusivamente em indicadores bibliométricos de citação, apesar dos ajustes pontuais realizados por cada um dos Comitês de avaliação, aponta o pesquisador em Bibliometria e Cientometria e Tecnologista em Saúde Pública da Fiocruz, Fábio Gouveia.
“Antes de tudo, é importante reforçar que todas as vezes em que definimos um indicador em um processo avaliativo induzimos ações aos avaliados”
Fábio Gouveia
Se, por um lado, houve um ganho de indução na interdisciplinaridade, por outro as classificações de uma determinada área influenciam demasiadamente na pontuação recebida, concordam os pesquisadores Fábio Gouveia e Washington Segundo. Nessa reforma, segundo eles, foram perdidas questões importantes relativas ao acesso aberto, à sustentabilidade e à periodicidade das revistas, entre outros fatores. Em relação aos pareceres de avaliação, há a indicação de só aceitar a avaliação por pares duplo-cega. Por exemplo, diz no art. 9.º da Portaria n.º 145, de 10 de setembro de 2021: “Considera-se violação de boas práticas a adoção de qualquer das seguintes condutas, nos termos previstos no Relatório do Qualis Periódicos das respectivas Áreas: III – não adoção do sistema de revisão cega por pares, devidamente auditável, ou a violação do correspondente sigilo”.
Outro aspecto bastante presente e controverso é o pagamento para publicação. Revistas tradicionais gratuitas podem demandar mais tempo entre a submissão e a publicação, enquanto as pagas (em valores elevados), de Qualis A, publicam em poucos meses. “Isso tem sido um limitante nos tempos economicamente mais árduos em que vivemos”, constata o coordenador substituto do PPG em Ciências Veterinárias, Marcelo Bertolini. Segundo o professor, muitos pesquisadores continuam concentrando as submissões em revistas clássicas, tradicionais e que ainda são gratuitas. “Porém, tem-se a sensação de que isso é um risco, caso tais revistas sejam rebaixadas no futuro”, afirma.
Isso gera consequências, porque o Qualis é uma ferramenta de avaliação voltada às pós-graduações e tem impacto direto na submissão de artigos em revistas, principalmente no caso das nacionais. Por isso, especialistas apontam que o objetivo maior do Qualis deveria ser o de avaliar as práticas das revistas nacionais para definir o acesso a fomento para manutenção e desenvolvimento das editoras nacionais.
“O Qualis pode ser uma ferramenta para a busca da pós-graduação que desejamos, mas hoje parece gerar mais confusão do que contribuir para boas práticas de produção acadêmica e editorias”
Fábio Gouveia
Consequências práticas
Entre as repercussões da mudança, há uma tendência global de ascensão de estrato para revistas científicas internacionais, com algumas saindo de B1 para A1, outras, sem Qualis, subindo ao estrato A. Quanto às nacionais, a maioria foi rebaixada, do estrato A para o B, e o mesmo descenso dentro do estrato B.
“Apesar de considerarmos a antiga classificação das publicações nacionais ‘artificial’, a manutenção de nossas revistas em estratos de maior valor (A1, A2, B1) mantinha a sobrevida delas no cenário científico, o que agora poderá causar prejuízos e até descontinuidade de algumas ao longo do tempo”
Marcelo Bertolini
Isso porque, segundo ele, o nível da ciência e da pesquisa que se realiza pode ser comensurado no âmbito da revista e vice-versa. “É preocupante, do ponto de vista da disseminação do conhecimento, já que o sucateamento das revistas nacionais trará certo prejuízo ao cenário local, regional e nacional”, completa.
Conforme registro na plataforma Sucupira, a classificação de periódicos no quadriênio 2013–2016 para a área de Linguística e Literatura contava 107 publicações A1; no quadriênio 2017–2020, são 806 avaliadas como A1. Já na Medicina Veterinária passou-se de 274 para 855 publicações A1. O aumento expressivo no número de publicações A1 se deve às realizadas em edições internacionais em grande parte. Como exemplo, o periódico Journal of Veterinary Internal Medicine subiu de B1 para A1. Embora também da área de Medicina Veterinária, a Revista Pesquisa Veterinária Brasileira, por outro lado, caiu de A2 para A4.
Para Bertolini, essa classificação não é harmônica e justa dentro das diferentes áreas da Medicina Veterinária. Por exemplo, a da cirurgia terá muitas dificuldades para produzir e publicar em estratos elevados. As melhores revistas de cirurgia do mundo estão classificadas com A3 no novo Qualis e, para publicar nelas, não é uma tarefa fácil, pelo contrário, segundo o professor. “Tais áreas sofrerão prejuízo, se comparadas a outras, como as da ciência básica. É um viés que sempre se vivenciou e que poderá causar mudanças nos programas mais diversos, como o nosso, pois, enquanto uma área e linha de pesquisa avançam por características próprias das atividades, outras poderão encolher ou desaparecer. É um processo natural, mas há prejuízo na formação de pessoal qualificado, disseminação de conhecimentos e competitividade científica de forma ampla”, pondera o docente.
Já a coordenadora do PPG em Letras, Simone Sarmento, traz outra perspectiva. De acordo com a professora, o PPG publica muito em periódicos de outras áreas, como Educação, Filosofia, Comunicação, Antropologia, Psicologia, Computação, Fonoaudiologia. “Anteriormente, não era incomum que alguns dos periódicos nos quais publicamos tivessem uma classificação alta em sua área de origem, mas baixa nas Letras. Dessa forma, entendo essa mudança como positiva para a área de Letras, por ser uma área de natureza interdisciplinar”, afirma.
Diversidade na produção de conhecimentos
Além do debate na academia e da repercussão na imprensa, o novo Qualis ganhou espaço também nas redes sociais. O professor do Instituto de Ciência Política da Universidade de Brasília (UnB) e pesquisador do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq) Luis Felipe Miguel foi um dos que abordou o assunto no seu perfil no dia 15 de janeiro. Ao saudar a escolha da professora Mercedes Bustamante como nova presidente da Capes, ele ressaltou que o ranqueamento das publicações científicas tem impacto importante na classificação, assim como no financiamento dos programas de pós-graduação e no futuro dos pesquisadores. “’É um ranking das revistas, não dos artigos ou dos autores’, repetem como um mantra – mas, na prática, é a publicação nos periódicos mais bem avaliados o que conta pontos para tudo”, escreveu.
Segundo o pesquisador, ao se entrar na questão dos critérios, aparecem casos estranhos, como na área dele. “Na categoria mais alta da Ciência Política, aparecem revistas especializadas em argila (Applied Clay Science), em doenças coronárias (Atherosclerosis), em poluição do ar (Atmospheric Environment), em engenharia espacial (Aerospace Science and Technology)”, comentou. Em entrevista ao JU, o cientista político aprofundou outros pontos.
“Não acredito que essa atualização no Qualis traga grandes modificações, porque simplesmente reproduz uma série de problemas dos ranqueamentos anteriores. Deveria ser perguntado o que a gente quer com isso, o que está sendo ranqueado, em vez de se buscar só um indicador numérico, que tem uma série de pressupostos e leva a discussões estranhas às áreas”
Luis Felipe Miguel
Ele aponta ser importante fazer uma política de pós-graduação que não se coloca numa torre de marfim, sem inserção e diálogo com a sociedade, e que, simplesmente, premia o peso dos papers em veículos especializados. “Estamos produzindo e disseminando conhecimento em uma sociedade profundamente desigual, e não se trata de a universidade ser só responsável por produzir e dispor o conhecimento, mas ela precisa receber e entender os atores e movimentos sociais a fim de que possam contribuir ativamente no processo de produção e divulgação dos conhecimentos, estabelecendo uma relação de troca. Isso vale para todos, mas principalmente para as ciências humanas. Caso contrário, a gente acaba desestimulando muitas outras formas de produção de conhecimentos”, contextualiza.
Para haver uma mudança efetiva e abrangente, segundo o professor da UnB, as agências de fomento, como a Capes, teriam que exercer mais um papel de apoio às pós-graduações, e não ser uma espécie de capataz, como hoje, estabelecendo critérios unilaterais de avaliação que independem das condições do programa. “Não se pode colocar programas centrais e periféricos, com vocações muito diferentes, na mesma caixinha e avaliá-los com as mesmas métricas. Por isso, é necessário fazer uma ampla discussão no âmbito da pós-graduação, não simplesmente reproduzir o que já se vem fazendo há muito, mas calibrar uma nova forma de funcionamento das agências”, argumenta Luis Felipe Miguel.
Washington concorda com a necessidade de se rever a política das agências. “Caso desejemos obter uma melhor distribuição dos esparsos recursos de fomento, e em prol da melhor organização e desenvolvimento da infraestrutura de Ciência, Tecnologia e Inovação Brasileira, há que se repensar o Qualis”, conclui.
