O jornal Folha de S.Paulo divulgou na segunda-feira (3/9/2012), um ranqueamento inédito: trata-se de uma listagem hierarquizada que leva em consideração unicamente as universidades brasileiras, ao modo do que se faz no exterior já há muito.
Para a organização dessa listagem foram criados critérios, como não poderia deixar de ser. Pois bem: e é neste ponto que geralmente tanto a listagem tupiniquim proposta, quanto as do exterior, recebem as mais variadas críticas de todos os lados.
De fato, o ato de classificar não é tarefa das mais fáceis em nenhum lugar: sempre se corre o risco da parcialidade, de ser tendencioso e injusto, a depender dos critérios adotados. Mesmo assim, jornalistas e suas instituições de abrigo costumam demonstrar certo afã por hierarquizações: vira e mexe surgem ranqueamentos dos mais variados, os chamados top ten. Há desde músicos de rock and roll, intelectuais franceses, “influentes”, e até ricaços globalizados organizados segundo a mesma lógica, a lógica dos “dez mais”.
Se em algumas vezes a curiosidade dos leitores médios de jornal pode ser saciada sem maiores problemas por meio desses indicadores de fins de semana, em outras, há fatores mais complexos implicados, fatores estes que merecem cuidadosa revisão e debate por parte de acadêmicos e demais especialistas antes de virem a público, dadas as injunções específicas daquilo que se tenta mesurar.
É o caso, a meu ver, da proposta de ranqueamento de universidades, instituições cujas lógicas próprias de organização, funcionamento, inserção e relevância sociais ultrapassam, e muito, uma listagem feita sem a participação ativa de diversos acadêmicos, pensadores, pesquisadores e especialistas em educação superior, como pedagogos, cientistas sociais, historiadores etc.
É o caso, por extensão, do ranqueamento proposto pela Folha, em que apenas o grupo liderado por um bioquímico da USP, em conjunto com a redação da Folha (!), desenvolveram todo o trabalho apresentado em um período de tempo escasso para uma incumbência de tal magnitude: apenas oito meses.
Lógica heterônoma
Sob justificativas duvidosas de colunistas do próprio jornal, como Hélio Schwartsman, que diz “sem as amarras da realidade mensurável, ciência é indistinguível de teologia e delírio” ou, então, “só conhecemos aquilo que podemos medir” (p. 3) – frase digna, aliás, de um Auguste Comte –, dá-se vazão à classificação que for, de acordo com o arbítrio que qualquer um escolher.
Ora, posso propor, por exemplo, um novo sistema de mensuração de massa corpórea em que um morcego seja considerado mais leve do que uma formiga, se para tanto eu ignorar o sistema vigente e adotar outro em que a capacidade ou altura de voo representar o parâmetro central. Poderia ainda ignorar as divisões assentadas da biologia, entre mamíferos, aves e insetos, e localizar o morcego em uma nova rubrica, junto aos pássaros e demais insetos capazes de voar. Quer dizer, nem por isso “uma medida (…) mesmo que imperfeita, é preferível a nenhuma medida” (p. 3). Tampouco a ciência se distinguirá de delírio, como propõe o nobre colunista.
Em outras palavras, há de ser dotado de um ferramental analítico próprio, de uma sensibilidade especial, quer dizer, de uma sensibilidade epistemológica, um saber aprofundado sobre o fenômeno ou grupo de fenômenos que se está ordenando, classificando, hierarquizando para não incorrer na mistura imprópria do que deve permanecer separado ou na separação incorreta do que deve ser visto em conjunto. Estes são fatores mínimos que distinguem a visão do senso comum da visão do cientista, uma visão que urge ser mais elaborada, detida, percuciente, que não se dobra de imediato às pressões externas, sejam estas provenientes do “mercado” ou da “sociedade” – substantivos universalistas amiúde empregados para esconder interesses escusos de grupos particulares.
Além disso, há de se recordar que existe um controle mútuo que incide sobre as proposições efetuadas no âmbito da ciência, o que se dá por meio dos juízos e críticas emitidos pelos pares de profissão. O ranking da Folha de S.Paulo, por acaso, procurou em algum momento servir-se desses instrumentos mínimos de controle de apreensão da realidade? Não seria algo imprudente tencionar a classificação das instituições científicas passando por cima de alguns critérios básicos da própria ciência? Trata-se de um dos jornais de maior circulação do país; ou seja, a listagem terá, sem dúvida, uma ressonância enorme, sobretudo em um país em que a autonomia científica ainda não foi atingida de um modo minimamente desejável.
Outras questões preliminares que devem ser levantadas são: a que ou a quem serve a classificação proposta pela Folha? O mesmo colunista citado responde: em primeiro lugar, serviria de farol a estudantes desnorteados que se preparam para entrar em alguma instituição universitária. A princípio teria um caráter semelhante ao dessas publicações voltadas à apresentação do que consiste cada curso e quais as “melhores” universidades para se estudar. Com respeito a isso, não há muito a considerar. Talvez as mencionadas publicações especializadas cumpram bem este papel já há muito tempo.
Em segundo lugar, e aqui é que mora o perigo de fato, o colunista afirma: “O ranking (sic) é ainda uma ferramenta valiosa para as próprias instituições, que poderão acompanhar seu desenvolvimento ao longo do tempo e comparar-se” (p. 3). Neste instante a Folha de S.Paulo revela seu grandioso propósito: o de, simplesmente, nortear a política educacional superior do país por meio dos critérios que ela própria, dentro da lógica jornalística, e não científica, estabeleceu.
Sem entrar no mérito da função social ocupada atualmente pela grande mídia no Brasil, tem-se aqui algo no mínimo temerário: quem outorgou tamanho poder de decisão a um grupo capitalista privado, cujos propósitos, como os de qualquer outro grupo capitalista, são os de lucrar com a venda de mercadorias – no caso, de notícias e de rankings? Será que a equipe da Folha de S.Paulo é suficientemente capacitada para interferir no âmbito estratégico do país, direcionando possíveis modificações que as instituições universitárias, sobretudo as de âmbito estatal, devam buscar? Houve um cuidado analítico na feitura do tal ranking proporcional à estatura daquilo a que ele se propôs? Está em jogo aqui a interferência de uma lógica heterônoma, a do jornalismo, de suas urgências e a de seu modus operandi,em outra que deveria deter mínima autonomia, a científica.
Opinião sobrevalorada
O ranking, em princípio, apresenta um desequilíbrio interno difícil de ser sanado: organizado em quatro indicadores, reúne dois que são minimamente objetiváveis, ou seja, discutíveis e melhoráveis, e outros dois obscuros e fora de propósito. Iniciando pelos dois indicadores “razoáveis”, os de “produção científica” e “inovação”, eles somam 60% da “nota geral” outorgada a cada instituição, sendo 55% proveniente da “produção científica” e 5% da “inovação”. Foram construídos com base nos números de artigos produzidos entre 2008-2009 por instituição, nas publicações por docentes, nas citações recebidas por cada um desses trabalhos e na quantidade de doutores que cada estabelecimento possui em seu quadro.
Pode-se questionar de cara a natureza dessa distribuição: por que apenas 5% é outorgado à categoria “inovação”, sendo que este medidor é crucial em países em desenvolvimento como o Brasil, que, comprovadamente, têm sua capacidade de crescimento atrelada ao fomento da inovação? Mas isto é apenas uma questão de opinião.
Um segundo questionamento diz respeito ao eixo da “produção científica”. Deu-se preferência em tomar a totalidade de artigos produzidos por instituição, o que, fatalmente, privilegiará, na classificação final, as instituições com grande número de professores: quanto maior o número de docentes em atividade, maior o número da produção e maior a nota da instituição. Neste caso, a inserção de um simples filtro daria conta da discrepância forjada pelo ranking: bastaria dividir o número de publicações pelo número de professores de cada instituição para se atingir um fator de equilíbrio. No mais, conforme dito, são critérios passíveis de discussão, que podem ser sanados e melhorados no futuro.
Já em relação aos outros dois indicadores que compõem o ranking, não vejo possibilidade de melhoras nem razão de ser caso não haja completa reestruturação na proposta apresentada. Esclarecendo: trata-se de parâmetros “opiniáticos”, despidos da menor objetividade e que privilegiam, ao que tudo indica, as instituições de ensino localizadas em grandes centros urbanos, além de beneficiar universidades e/ou faculdades que ofereçam cursos palatáveis ao “mercado”, e não pesquisa, ensino e extensão.
Os indicadores “reputação no mercado” e “qualidade de ensino” constituem o 40% restante do índice, com 20% de peso cada um. O fator “reputação no mercado” foi construído com base em consultas a 1.212 profissionais de Recursos Humanos de empresas, escolas e instituições que, conforme diz o jornal, “contratam, profissionais nos 20 cursos que mais formam no país, como administração e direito” (p. 4).
Ora, vejamos: em primeiro lugar, como pode um índice que se quer geral, que universaliza “a” Universidade X em determinada posição em relação às demais, levar em consideração apenas os vinte cursos que mais “formam no país”, sendo que o foco desses cursos, de acordo com os dois exemplos, não se volta, majoritariamente, à produção científica? Não seria conferir de início a algumas universidades mais voltadas ao mercado uma prerrogativa de qualidade na posição geral do ranking que, na realidade, nada tem a ver com qualidade acadêmica, mas sim meramente com uma opção de se dedicar a cursos com maior demanda no “mercado”?
Outras questões estruturais sobre o mesmo eixo: quem são os tais RHs consultados? Em que instituição se formaram? Como chegaram a eles? Estão uniformemente distribuídos no país? Dependendo das respostas, há clara interferência no resultado final, sobretudo em relação às instituições localizadas fora dos grandes centros, as mais prejudicadas. Por exemplo: houve consultas a profissionais de RH em Juiz de Fora? Será que nesta região a Universidade Federal de Juiz de Fora não é uma instituição praticamente absoluta – como uma USP em São Paulo – em termos de “imagem” junto aos profissionais de RH?
Só para dar outro exemplo prático de uma universidade localizada fora das capitais: a campineira Unicamp, cuja qualidade em termos de pesquisa é indiscutível, e, segundo o próprio ranking, superior às demais que ficaram à sua frente – com exceção da USP –, teve apenas 9,17% de “avaliação do mercado”, frente a 18,10% da belo-horizontina UFMG, fato que deixou a Unicamp em quinto lugar no ranqueamento geral. Já a Universidade Presbiteriana Mackenzie, localizada na capital São Paulo, recebeu 15,90 de “avaliação do mercado”, a despeito de sua “qualidade de pesquisa”, de sua “qualidade de ensino” e de seu “indicador de inovação” serem bem inferiores com respeito aos da Unicamp. Não caberia rever, desse modo, este quesito?
Mas há ainda outras questões cruciais: por que apenas os profissionais de RH foram consultados? Por que não procurar conhecer as opiniões de outros profissionais do mercado, já que o índice se refere à “inserção no mercado”? Não há outras maneiras – muito mais confiáveis do que meras opiniões de profissionais cujos perfis socioeconômicos e extração de classe devem se reproduzir ao infinito – de averiguar a “capacidade de inserção no mercado” de cada instituição? Por que não se basear em pesquisas já realizadas com aqueles que estão inseridos no mercado, para saber de qual universidade provieram? Lembrando que, segundo os critérios adotados, o peso da mera opinião desses profissionais é quatro vezes mais valioso do que o quesito inovação, por exemplo. E que, ao fim e ao cabo, é a qualidade geral da instituição que se está avalizando.
Outro lado
Por fim, há o indicador “qualidade de ensino”, tão ou mais problemático do que o “inserção no mercado”. Foram utilizadas, segundo o jornal, as opiniões de “597 pesquisadores com grande produção, de acordo com o CNPq” (p. 4). Esses profissionais, de acordo com o jornal, “listaram as instituições de ensino consideradas melhores por eles – universidades, faculdades ou centro universitários – na área em que atuam profissionalmente. As instituições que tiveram pelo menos três menções nessas entrevistas feitas pelo Datafolha foram consideradas na classificação” (p. 4).
Algumas questões se repetem, só que agora de outros modos: quem são esses pesquisadores? De quais instituições eles provêm? Como foram escolhidos? Somente pelo critério de “produtividade”? Ou seja, a opinião de um grande produtor de artigos é mais valiosa do que a de um acadêmico renomado, que prefira produzir livros em vez de artigos e que, desta forma, não se enquadre perfeitamente nos critérios de avaliação do Conselho Nacional de Desenvolvimento Científico e Tecnológico (CNPq)? A depender da distribuição regional e de área de atuação desses pesquisadores, não haverá um desequilíbrio gritante no resultado final? Isto foi levado em consideração? Se sim, aplicou-se algum filtro? Qual?
E há ainda algo mais estarrecedor: como se pode quantificar “qualidade de ensino” por meio de citações ao vento de pesquisadores? Quais instrumentos eles possuem para avaliar a qualidade de ensino – salvo se profissionais de pedagogia ou demais envolvidos com estudos relativos à educação – se não, novamente, o mero achismo? Como um pesquisador pode avaliar com precisão o ensino em uma instituição em que ele não atua, já que, normalmente, vincula-se a apenas uma? Não há um círculo de legitimidade rondando essas opiniões, que tende a desconsiderar melhoras ou pioras sucedidas em determinadas instituições? Não se está auferindo antes as representações ideais que cada um desses entrevistados possui sobre as instituições do que, de fato, a “qualidade de ensino” de cada uma delas?
Outros questionamentos fazem-se prementes: por que não utilizar avaliações objetivas já consagradas, como as aplicadas pelo governo federal ao final de diversos cursos? Não seria um modo mais razoável de se mensurar a “qualidade de ensino”? Como ignorar por completo as avaliações da Coordenação de Aperfeiçoamento de Pessoal de Nível Superior (CAPES) sobre as pós-graduações, já que, ao cabo, o que se obtém no ranqueamento é uma colocação geral da instituição de ensino, o que acarreta considerar os programas de pós-graduação, indissolúveis às imagens das universidades?
Há ainda questões e mais questões que podem ser levantadas, como a ausência de mensuração das discrepâncias existentes entre as faculdades de cada instituição, a generalização indevida, o uso de conceitos de senso comum como se significassem algo per si (por exemplo, o de “inserção no mercado de trabalho”, amplo e vago) etc. Algumas das falhas apontadas, há de se reconhecer, foram sublinhadas pelos articulistas da Folha.
Reitero que não sou contrário a tentativas de classificação, ordenamento geral, hierarquização etc. das instituições de ensino. Há, porém, modos e modos de se fazer, e, conforme procurei demonstrar, a Folha e sua equipe foram, ao menos nesta primeira tentativa, infelizes, como infelizes também costumam ser os ranqueadores internacionais. Não é se legitimando através de desculpas de que “lá fora se faz assim” que se logra agregar qualidade científica e objetiva a avaliações como a proposta.
Para se criticar o imputado “histórico de resistência a avaliações” (p. 3) e a reação “com veemência a quem se propõe a escrutiná-las [as universidades]” (p. 3), é necessário muito mais do que foi apresentado. E, talvez, começar a aprender a ouvir o outro lado, pois o mesmo se pode dizer da grande imprensa.
P.S.– Agradeço ao Caio Vasconcelos e à Carla Diegues algumas correções e sugestões.
***
[Dmitri Cerboncini Fernandes é professor de Sociologia no Departamento de Ciências Sociais da Universidade Federal de Juiz de Fora]