Detalhes tão pequenos

Antonio Fernando Beraldo (*)

Peço licença ao poeta Roberto Carlos para usar a sua famosa redundância. Uma particularidade dos novos critérios do INEP é coisa muito grande para ser esquecida: o tal do desvio-padrão, que será utilizado para delimitar as categorias dos cursos depois do Provão. Desvio-padrão é a raiz quadrada da média dos quadrados dos desvios em relação à média da distribuição, entende? Não? Nem precisa: deixe essas contas chatas para o computador fazer, e entendamos o que esta trapizonga significa ? pois é aí que mora o perigo. A coisa funciona assim:

** Se você tem uma coleção de notas atribuídas aos cursos, sempre poderá calcular a média e o desvio-padrão destes cursos. A média é simplesmente o resultado de uma conta, sem nenhum significado especial ? é medida apenas indicativa. A média, em si, não pode ser chamada de "alta" ou "baixa", como teimam dizer as autoridades. Isto é besteira. Uma medida qualquer só pode ser chamada de alta ou baixa se for comparada a outra. Uma média, de um conjunto de notas, é alta (ou baixa) se for maior (ou menor) do que a média de outro conjunto de notas, sujeito às mesmissimas condições (as mesmas provas, com as mesmas questões) . Por isso não há sentido algum em comparar as médias obtidas por cursos de áreas diferentes, ou médias de um ano com outro. Comparar uma média com um tal de "valor esperado" é outra asnice, indigna de ministros.

** Mas uma média pode ser "julgada" boa ou má. O "juiz" é essa coisa chamada desvio-padrão, que é um número que verifica se as notas do conjunto estão próximas ou afastadas da média do conjunto. Imagine, por exemplo, um conjunto de 5 notas: 4, 5, 5, 5, e 6. A média é 5, e os valores estão bem próximos da média, e a maioria das notas é coincidente com a média. O desvio-padrão é 0,7 e, por este valor ? e pela própria proximidade das notas ?, dizemos que a média é "boa" para caracterizar o conjunto (este é o verbo: caracterizar). Agora, seja outro conjunto, com as notas 1, 3, 5, 7 e 9. A média também é 5, mas os valores estão mais afastados desta média do que no conjunto anterior. Isto é medido pelo desvio-padrão, que aumenta bastante: 3,16. Para terminar, mais um conjunto: 0, 0, 7, 8 e 10 (dois ingratos deixaram a prova em branco). A média também é 5, mas o desvio-padrão pula para 4,7. Se os novos critérios fossem aplicados a esse conjunto de notas, teríamos 2 cursos (des)classificados como E, nenhum curso em D, 1 curso em C, 1 curso em B e 1 curso em A. Não é uma gracinha?

Daí que o tal de desvio-padrão importa, e muito, na caracterização de um conjunto. Se os formandos de meia dúzia de cursos encasquetarem de boicotar o Provão, em uma área, já era. O desvio-padrão vai crescer muito, e, qualquer que seja a distribuição de notas, irá aumentar bastante o número de cursos nas pontas E e A. Num caso oposto e extremo, se as notas dos cursos se aproximarem muito da média do conjunto, podemos chegar à maluquice de não ter nenhum curso em E nem em A, independente da média ser 21,5 ou 42,5 ou 64,3 ou 79,8… Esta distribuição, tão desejável nos processos de controle de qualidade e nas diversas ISO?s, é chamada de leptocúrtica (perdão, senhoras) ou, conforme dizem os alunos, superpontuda (perdão, novamente).

Isso não é tão difícil de acontecer ? veja a distribuição das notas dos cursos de Matemática, em 2000. É uma briga de foice nas regiões limítrofes das faixas de classificação (nossa!). Um curso com nota 45,8 está na classificação D (preocupante), um outro com nota 49,5 está na classificação C e outro ainda, com nota 55,4, na categoria B. Uma diferença de 10 atravessa três categorias!

Na área de Economia, por exemplo, a categoria A envolve desde cursos com nota 33,1 até 51,8, com uma amplitude de 18,7! Ou seja, são colocados no mesmo saco um curso com nota 33 e outro, com média 52 (a curva é assimétrica à direita). É aquela coisa das pesquisas de mercado: se lhe perguntam se você tem um carro, e você responde um glorioso SIM!, tanto faz que este carro seja um Fusca 66 ou uma BMW 2001. O número de pontos que lhe são atribuídos é o mesmo ? a diferença entre os dois veículos (se é que um Fusca 66 ou uma BMW possam ser chamados de veículos) é detalhe… No curso de Jornalismo, estão no mesmo saco, marcado com a letra E, desde um curso com nota 0,1 (!) até um com nota 16,1 (assimetria à direita). Houve boicote pesado, e pode-se ver que a média, "puxada" para baixo pelos cursos em que houve boicote, é completamente irreal. O intervalo de notas nos sacos, quer dizer, categorias, E e D é quase o mesmo dos sacos C, B e A.

Por falar nisso, há uma queixa entre os que se dão ao trabalho de analisar os resultados do Provão: o MEC não fornece a distribuição das médias dos cursos, alegando que são dados sigilosos, pois "pertencem" às faculdades. Redargüimos e obtemperamos (como diria o Itamar) que a gente não quer saber os nomes dos cursos e, sim, as médias ? não precisa dizer quem tem qual nota. Debalde (ainda Itamar). Fazem ouvidos moucos (Itamar), enrolam, enrolam e nada. As análises têm que ser feitas todas na base de estimação por percentis e pontos médios, o que é o fim da picada. Cadê a tal transparência? A distribuição das médias é um detalhe tão imenso, maior que o céu, maior que o mar e o infinito… Será que se teme alguma coisa?

Outro detalhe: algum curso foi descredenciado devido ao Provão e à Avaliação das Condições de Oferta Não sei de nenhum; se você souber, por favor, me informe.

Mais um último detalhe: temos observado nos últimos anos que o MEC não tem cumprido à risca seus próprios critérios, os tais 12-18-40-18-12 porcento [veja artigo sobre isso na próxima edição]. Será que vai cumprir esses "novos"?

Leia também

De perto ninguém é normal ? Antonio Fernando Beraldo