Avaliação quadrienal da Capes traz à tona os desafios de medir o impacto social da pós-graduação

Publicado originalmente em Jornal da UFRGS. Para acessar, clique aqui.

Ciência | Categoria “impacto na sociedade” integra a avaliação quadrienal dos PPGs, mas métrica carece de indicador que contemple a diversidade das áreas de conhecimento

*Foto: Flávio Dutra/JU

Durante a avaliação quadrienal 2017-2020 da Capes, as fichas de avaliação dos Programas de Pós-graduação (PPGs) de todo o Brasil chegaram diferentes do habitual: a antiga categoria “inserção social”, que avaliava a atuação do PPG fora dos muros da universidade, sumiu. Em seu lugar, apareceu um misterioso novo quesito chamado “impacto na sociedade”. Mas o que é isso? E como se mede o impacto social de uma pós-graduação?

Na prática, inserção social e impacto na sociedade são a mesma coisa. Foi apenas uma mudança de nomenclatura, mas que causou confusão. Alguns acadêmicos, até mesmo coordenadores de PPGs, não tinham uma definição clara do que a Capes queria dizer com “impacto”. Outros aparentemente não entenderam o que ela quis dizer com “sociedade”.

“Não é tão difícil, mas têm PPGs que inventaram muita coisa”, conta o pesquisador Rene Faustino Gabriel Junior, do PPG Ciência da Informação (PPGCIN) da UFRGS, que participou como avaliador nessa última avaliação quadrienal. “Nós até brincávamos: tinha desde batizado de boneca até PPGs que contribuíram com a formulação de políticas públicas em Moçambique.”

Olhar para o lado de fora

De acordo com o Research Excellence Framework de 2015, impacto é um termo que designa “a medida de quanto uma saída da pós-graduação é capaz de gerar efeitos positivos para a coletividade”. Impacto na sociedade seria, portanto, uma saída (uma ação, um produto, um serviço) que ultrapassa os muros da universidade e tem influência direta sobre a vida social.

Não é de hoje que as universidades e seus pesquisadores são criticados por se isolarem em “torres de marfim”, pouco preocupados com o mundo do lado de fora. Sendo a crítica infundada ou não, a utilização do impacto na sociedade como critério na avaliação de um PPG pode contribuir para uma mudança de imagem: o conceito atribuído pela Capes aos PPGs, que pode ir de 1 a 7, determina a alocação de recursos de pesquisa entre os programas. Se o impacto na sociedade é um dos critérios definidores na distribuição desses recursos, talvez os pesquisadores se sintam encorajados a dar mais atenção a ele.

O pró-reitor de pós-graduação da UFRGS, Júlio Barcellos, aprova que a Capes cobre a atuação dos PPGs na sociedade. Ele acha importante vincular o aporte de recursos à entrega social da pós-graduação, principalmente para encorajar aqueles com uma visão “produtivista” da Ciência a repensar a sua atuação acadêmica.

“Os docentes não consideram (o impacto social) importante. Temos que passar uma mensagem completa. Não basta ser muito bom sob o ponto de vista exclusivamente intelectual e científico. Tem que entregar em todas as dimensões”

Júlio Barcellos

Planejar ações, produtos e serviços que impactem positivamente a sociedade reverte em uma melhor pontuação para os PPGs, o que traz mais recursos a eles. Logo é do interesse de todos os programas de pós-graduação gerar impacto na sociedade. Ótimo. Mas… como se mede isso? E o que pode ser considerado “impacto na sociedade”?

Definição difusa

“O que é impacto social? Todo mundo quer descobrir.” É assim que a professora Samile Andréa de Souza Vanz, do PPGCIN da UFRGS, resume o dilema. O interesse em medir o impacto na sociedade existe. O que ainda não existe são os instrumentos para isso.

“Existem estudos de possibilidade (de indicadores de impacto social), mas é a coisa mais difícil do mundo. Como vamos medir áreas tão diferentes? O impacto da Engenharia vai ser, talvez, uma máquina. E na Comunicação, vai ser o quê? Uma pesquisa que serviu de subsídio para políticas públicas talvez?”

Samile Vanz

Indicadores são métricas que quantificam um fenômeno real. Com eles podemos comparar, por exemplo, o volume de produção de artigos científicos entre PPGs ou o número de egressos desses programas em um determinado período. Logo, para medir qualquer aspecto, é necessário um indicador. Mas como criar um instrumento que avalie o impacto social de áreas tão distintas quanto Matemática e Artes, ou de qualquer outra das 49 áreas do conhecimento classificadas pela Capes?

Um segundo desafio é que não há nem mesmo um consenso acadêmico sobre o significado de impacto. Campos de estudo diferentes utilizam definições diferentes – e podem existir múltiplas definições dentro de um mesmo campo. Isso leva a diferentes compreensões sobre o que pode (ou não) ser considerado impacto na sociedade.

Como solução, a Capes deixa que as próprias áreas – Química, Medicina, Administração… – elaborem as suas fichas de avaliação. Fica, assim, a critério de cada uma escolher o que será usado como indicador de impacto social. Mas a falta de orientações mínimas pode levar a mais “batizados de bonecas” – situações esdrúxulas consideradas como de impacto na sociedade por conta de parâmetros de avaliação difusos.

Para resolver esse desafio e oferecer insumos à avaliação dos PPGs, a Capes constituiu em 2018 o Grupo de Trabalho Impacto e Relevância Econômica e Social. No ano seguinte, o GT publicou um relatório de trabalho com propostas para uma metodologia de medição de impacto social universalizável para as 49 áreas de conhecimento. O relatório limitou-se a modos de medir o impacto de produtos e serviços.

O documento sugere a classificação dos produtos em 23 tipos possíveis: produção bibliográfica, traduções, material didático, eventos, cultivares, entre outros. A aplicação de um questionário-teste mostrou que essa tipificação contempla com sucesso a variedade dos produtos e serviços gerados pelos PPGs brasileiros. Mas a contribuição mais valiosa do relatório é a sugestão de indicadores de mensuração de impacto social que, com a devida adaptação, podem guiar a avaliação em todas as áreas do conhecimento.

Indicadores de impacto social

Outra diretriz do relatório do GT é que a avaliação do impacto na sociedade deve ser qualitativa, ou seja, focada no registro do impacto, e não em sua métrica de avaliação. Isso está em sintonia com a opinião do pró-reitor Júlio Barcellos: “Transformar tudo isso em número nos levaria a uma visão produtivista de novo. Ou seja, fazer mais do que dá mais pontos”. Júlio defende, portanto, que a avaliação do impacto social não deva usar uma pontuação “tabelada”, como ocorre com a avaliação de produtividade dos PPGs, por exemplo. Ele nega que isso torne a avaliação demasiado subjetiva, pois, sendo conduzida por uma comissão de pares, ela evita refletir o julgamento de uma só pessoa.

Quem também é contra a “quantificação” do impacto na sociedade é a professora Sônia Elisa Caregnato, do PPG Comunicação da UFRGS. Por ser uma estudiosa da Cientometria – ciência que trata da medição quantitativa na produção científica –, ela tem respaldo para criticar o uso do quantitativismo para esse fim. E explica o porquê com uma anedota: “Uma vez, alguém da Economia disse: ‘é só criar um indicador novo que vai ter gente trabalhando em cima do indicador, e não do que ele quer medir’”.