Publicado originalmente em Jornal da UFRGS. Para acessar, clique aqui.
Ciência aberta | Periódicos têm promovido mudanças na revisão por pares, considerada um dos pilares da prática científica
*Foto: Pietro Scopel/JU
Um dos grandes diferenciais da produção científica é a sua certificação por pares. Essa validação compreende a revisão, a avaliação, a correção e a incorporação de sugestões e apontamentos de especialistas não envolvidos com a pesquisa analisada a textos como artigos científicos, por exemplo. A revisão por pares já foi chamada pelo pesquisador e ativista pela Ciência Aberta Stevan Harnad de “a mão invisível” que mantém a qualidade da ciência.
Nos periódicos científicos-acadêmicos, o processo de revisão por pares tradicionalmente é realizado no modelo duplo-cego, ou seja, tanto a pessoa que emite o parecer avaliativo quanto aquela que o recebe não conhecem a identidade uma da outra. No entanto, esta prática está mudando. A partir dos princípios da Ciência Aberta, a adesão à abertura da avaliação por pares vem ocorrendo em periódicos científicos de todo o globo, sobretudo naqueles que já disponibilizam seus conteúdos em acesso aberto.
Um pouco de história
O surgimento dos periódicos acadêmico-científicos tem como marco as publicações, na Europa do século XVII, do Journal de Savants e do Philosophical Transactions. Já a introdução da avaliação de manuscritos por pares é atribuída à Royal Society of London, que, em 1752, instituiu o Commitee on Papers na produção da revista Philosophical Transactions. No entanto, uma forma de revisão por pares já era praticada no âmbito das sociedades científicas antes disso. Sua posterior adoção pelas revistas se pautou no aumento significativo do número de submissões de trabalhos – o que trouxe a necessidade de uma maior seleção dos originais a serem publicados – e no aumento da especialização e sofisticação das áreas, que tornou imprescindível o aconselhamento com pares.
A padronização do modelo de avaliação por pares praticado atualmente data da metade do século XX e se baseia na ideia de comunidade científica de Thomas Kuhn. Para esse filósofo, a ciência se configura como uma estrutura colaborativa na qual pesquisadores se constituem, ao mesmo tempo, em produtores, audiência e juízes do trabalho produzido.
Hoje a submissão de um trabalho a uma publicação científica ocorre em etapas sequenciais:
- seleção do periódico almejado por parte dos autores de um trabalho científico;
- familiarização com as instruções e as normas para submissão;
- envio do trabalho original;
- pré-seleção dos originais por editores;
- envio dos manuscritos pré-selecionados para a avaliação por pares;
- recomendação de pares por meio da emissão de pareceres;
- decisão editorial com base nos pareceres;
- comunicação da decisão de aceite ou recusa ao(à) autor(a);
- em caso de aceite para a publicação, são feitos ajustes conforme os pareceres;
- publicação do trabalho.
Caso o trabalho seja aceito para publicação, as e os autores são instados a considerarem os apontamentos recebidos nos pareceres. Entretanto, nem sempre a palavra dos pareceristas é a final. Se as e os autores possuírem uma razão pertinente para não aceitarem uma ou mais sugestões, devem justificá-la aos editores. Feito isso, o texto revisado segue para a publicação.
Outro ponto interessante da prática editorial científica é que a rejeição de um trabalho por um periódico não impede sua submissão a um outro. Os pareceres, inclusive, recebidos na primeira submissão podem melhorá-lo para o novo processo avaliativo.
Dois grandes modelos, muitas discussões
Há diferentes tipos de avaliação por pares. Todas elas têm a função de assegurar que o conhecimento produzido por cientistas seja verificado e validado antes de sua disseminação.
O modelo fechado oferece as variações cega (Single Blind Peer Review), em que autores desconhecem as identidades de pareceristas, e duplo-cega (Double Blind Peer Review), na qual autores e avaliadores têm suas identidades mutuamente anonimizadas. Hoje há uma forte discussão sobre a eficiência desse modelo. Até então se acreditava que a anonimização garantiria uma avaliação mais isenta e livre de favorecimentos pessoais, institucionais, acadêmicos e profissionais. Isso, contudo, é contestado, principalmente em campos novos ou mais restritos, em que a tendência é que pesquisadores acabem reconhecendo uns aos outros pela temática de trabalho.
Além disso, há o argumento de que o anonimato pode encorajar a emissão de pareceres ríspidos e desrespeitosos. Em relação a esses casos, surgiu o meme do “Reviewer 2”, criado para representar revisores que não apenas exigem tantas mudanças que acabam por descaracterizar o trabalho como também por terem a tendência de fazê-lo sem a etiqueta necessária ou fundamento suficiente.
Este é justamente o ponto dos defensores da Ciência Aberta, que entendem que a abertura da revisão por pares traz mais responsabilização e legitimidade na emissão dos pareceres, incidindo diretamente nas relações e na forma como se dá a construção do conhecimento. O modelo aberto (Open Peer Review) surgiu com a ideia de uma interlocução mais direta entre autores e avaliadores, visando à colaboração. Nesse formato, o anonimato na avaliação de artigos é colocado em xeque.
Os argumentos a favor da proposta defendem que a interação direta torna o processo de fazer ciência mais democrático. Além disso, a publicação do conteúdo dos pareceres é apresentada como uma forma de dar reconhecimento ao trabalho anônimo de pareceristas, que, na maior parte das vezes, contribuem gratuitamente com seu conhecimento e disponibilidade.
No entanto, a proposta de mudança do modelo fechado para o aberto enfrenta controvérsias. Entre elas, a de que a abertura das identidades não necessariamente implicaria mais transparência, tendo em vista o histórico de animosidades que o mundo acadêmico vivencia.
Outra questão é a do aumento na dificuldade de se obter a adesão de avaliadores. A busca por especialistas dispostos a colaborarem com pareceres avaliativos já é um dos grandes gargalos da editoria científica. Com a publicização das identidades, isso pode se agravar, já que nem todo mundo deseja se expor.
Um terceiro ponto é o da qualidade do conteúdo dos pareceres, o que inviabilizaria sua publicação. Editores de todo o globo apontam em diversos fóruns e eventos científicos o problema dos pareceres sintéticos. Em função de agendas acadêmicas já lotadas, muitos cientistas acabam declinando dos convites para avaliarem artigos.
Ainda, e não menos importante, há a questão do aumento considerável da carga de trabalho para equipes editoriais já enxutas: além de terem de absorver o gerenciamento do processo editorial aberto, precisam, entre outras demandas, intermediar as interações entre autores e pareceristas.
Na prática, os modelos fechado e aberto não são excludentes. Geralmente operam paralelamente, já que a abertura é oferecida como uma opção tanto para autores quanto para pareceristas. Além disso, os periódicos têm feito experimentos com o modelo, o que o torna mais ou menos personalizado.
Sobre isso, o Jornal da Universidade ouviu as experiências de três periódicos: Em Questão (UFRGS), Ensaio – Pesquisa em Educação em Ciências (UFMG) e Bakhtiniana – Revista de Estudos do Discurso (PUCSP). Todos eles operam de acordo com as diretrizes do SciELO, que recomenda a transparência e a abertura progressiva nos processos de avaliação de manuscritos por pares envolvendo relações e interações entre autores, editores e pareceristas. Conversamos também com Camila Silveira Cavalheiro, pesquisadora que já esteve dos dois lados do processo: como autora e como parecerista.
A abertura como experimento e processo pedagógico
Publicada pelo Programa de Pós-graduação em Ciências da Informação da UFRGS, a revista Em Questão foi aceita para a coleção SciELO em agosto de 2022. Desde então, vem incorporando a abertura do processo de avaliação por pares e a disponibilização de preprints.
A editora associada Samile Vanz explica que o periódico está em processo de abertura e, por isso, a adesão tanto de autores quanto de pareceristas ocorre sob consulta. “Somente com a anuência de ambos os atores do processo editorial os pareceres são publicizados. Atualmente, cerca de um terço dos pareceres são publicados pela Em Questão. “O principal desafio é gerenciar documentos extras dentro do processo editorial, tendo em vista que os pareceres são publicados como documentos distintos e recebem DOI seguindo o modelo de publicação da SciELO”, conta Samile. Ainda não há interação direta entre autores e pareceristas, pois a revista está em fase inicial de abertura. Os pareceres são publicados junto com o artigo, em arquivos distintos.
“A equipe incentiva o movimento da ciência aberta e vem desenvolvendo um trabalho nesse sentido, buscando orientar os autores a disponibilizar dados de pesquisa. Um dos maiores esforços é manter o acesso aberto no modelo diamante, sem cobrança de taxas aos autores. A ciência aberta enquanto uma mudança ideológica nos processos de comunicação científica é uma ótima ideia. Na prática, no entanto, custa e tem um impacto financeiro no sistema como um todo que precisa ser avaliado, inclusive pela própria SciELO”
Samile Vanz
O parecer pode virar um artigo
A Ensaio – Pesquisa em Educação em Ciências (UFMG) foi a primeira publicação da área de Humanas do SciELO a experimentar a abertura de pareceres, introduzindo a publicação do artigo-parecer. Sua política de avaliação aberta vem sendo ampliada.
Atualmente, os artigos são submetidos ao modelo às cegas. Quando o artigo é aprovado e é constatado que houve um “parecer construtivo” – isto é, o parecer foi diretivo, contribuiu para a melhoria do trabalho e permite um diálogo edificante –, os editores convidam os pareceristas a atuarem como autores de um “artigo-parecer”, associado ao trabalho original como uma produção à parte. “Dessa forma, o avaliador é mais valorizado porque, além de ter-se engajado na escrita do parecer, participa com um artigo a partir do parecer, que conta para ele como uma produção”, informa a editora-chefe, Paula Mendonça.
Na submissão do artigo, além do texto em si, as e os autores têm que enviar alguns documentos. Um deles é o documento de conformidade com as práticas de Ciência Aberta.
“Só convidamos para a abertura autores que manifestam seu interesse em participar do processo de avaliação aberta e em ter a publicação do artigo-parecer associado à sua produção. Isso porque os autores têm de estar cientes, precisam concordar com o processo, porque seu trabalho será comentado no artigo-parecer. Ou seja, eles têm que entender que tipo de crítica é essa”
Paula Mendonça
Só são convidados autores que correspondem aos critérios de ter o texto aprovado para publicação e terem recebido pareceres construtivos. Quando isso acontece, a equipe editorial faz a quebra do duplo-cego, ou seja, torna os avaliadores conhecidos pelos autores e vice-versa ao final do processo. “O que fazermos é abrir o processo, mantendo um pouco do modelo fechado para evitar possíveis constrangimentos”, acrescenta.
Além disso, no documento de conformidade há itens que dizem respeito ao depósito de dados abertos. Desde o ano passado, a revista mantém um repositório no qual as e os autores de artigos aprovados são convidados a compartilhar seus dados. O material passa por uma curadoria feita por uma editora de dados, seguindo o padrão SciELO, que ensina as e os cientistas sobre como depositar as informações. “Este [editora de dados] é um papel que a gente criou no final do ano passado e que tem sido fundamental para a política de dados abertos. Até porque se trata de uma nova cultura e, como tal, necessita de uma certa preparação, de uma educação”, salienta Paula.
A editora-chefe comenta que a prática valoriza o parecerista e pode levar a pareceres de melhor qualidade. O processo ainda é artesanal, com os convites sendo enviados um a um. Tem como vantagem um acompanhamento efetivo pelos editores adjuntos, que percebem melhor quais avaliadores contribuíram com pareces acima da média, ou de grande qualidade, e têm potencial para se transformarem em artigos-pareceres.
“Acreditamos que, para além da contribuição já conhecida da avaliação por pares, esses artigos-pareceres expandem a discussão do artigo original. Para o estabelecimento dessa cultura, foi muito importante a realização de lives e a publicação de editoriais, porque é com eles que conversamos com a comunidade mais ampla”, ressalta.
Na avaliação de Paula, a proposta tem tido uma boa aceitação. “Quando encontramos autores e pareceristas em eventos e congressos, o comentário geral é que participar da abertura da revisão por pares foi válido. Estamos nesse processo desde 2021, então percebemos que as pessoas já compreendem melhor a proposta.”
Transparência no processo
Na Bakhtiniana: Revista de Estudos do Discurso (PUCSP), periódico da área de Linguística e Literatura, também é possível optar por um ou mais meios de abertura do processo de revisão por pares. Autores e avaliadores podem optar tanto pela publicação ou não dos pareceres (caso o artigo seja aceito) quanto pela interação ou não entre si.
A editora-executiva da Bakhtinina, Bruna Lopes, comenta que a adesão à revisão por pares aberta tem aumentado. Apesar de demandar maior acompanhamento por parte de equipe editorial, pareceristas e autores, Bruna acredita que o processo resulta tanto em uma maior transparência do processo editorial quanto na explicitação do processo e dedicação necessários em uma publicação de qualidade.
“A interação entre pareceristas e autores tem sido construtiva e impactado positivamente na produção científica dos autores publicados. Os pareceres correspondentes a uma dada submissão são publicados ao final dos manuscritos quando houve concordância dos autores e avaliadores. Nesse sentido, convidamos a todos a leitura dos artigos publicados neste ano que possibilitam também a apreciação dos pareceres”
Bruna Lopes
Camila Silveira Cavalheiro, doutoranda em Antropologia Social na UFRGS, já teve alguns artigos publicados, inclusive em periódicos de excelência internacional (Qualis A1). Também já aceitou convites para emitir pareceres avaliativos, nas modalidades duplo-cega e aberta. Tanto como autora quanto como parecerista, a consulta sobre a abertura da revisão por pares veio durante o processo editorial.
Atualmente, Camila pesquisa sobre hormônios no campo da Antropologia. Ele pondera que se trata de um campo em que as e os pesquisadores se conhecem entre si, então, o leque de avaliadores especialistas acaba sendo mais circunscrito. “Mesmo que os pareceres fossem fechados, teríamos uma ideia de quem poderia contribuir para aquele tema de pesquisa”, acredita. Para ela, o parecer aberto facilita que se desenvolva melhor um diálogo entre as pessoas que já debatem o tema entre si em congressos, além de incentivar uma maior colaboração em pesquisas, publicações e eventos científicos.
“Minha impressão é de que o parecer aberto tornou as coisas mais às claras, tendo em vista o tamanho do campo. A colaboração se torna mais tranquila”
Camila Cavalheiro
A doutoranda encara como positiva a questão de conhecer as identidades das pessoas que avaliaram seus artigos e também não vê problemas em ser identificada. Ela já recebeu avaliações anônimas e abertas e prefere as segundas porque tornam o contexto da avaliação mais transparente. “Quando o parecer é de uma pessoa que não é da área, no caso de uma revista mais interdisciplinar, e vem com uma negativa ou com uma sugestão que não se encaixa na proposta do meu campo, me sinto mais capacitada para responder e explicitar as razões pelas quais tomei certas decisões”, completa.