O Ranking Universitário Folha (RUF) provocou uma grande discussão sobre seus resultados. A repercussão foi melhor do que a própria avaliação, cujos problemas metodológicos são fartamente identificáveis (ver, neste Observatório, “Sobre universidades, campeonatos e reportagem“ e “O método, os alhos e os bugalhos“). A repercussão é por si pedagógica, pois traz a público a complexidade da vida universitária e consequentemente dos parâmetros e dos instrumentos para melhor avaliá-la.
As intenções e os esforços para se avaliar as universidades certamente são necessários dada a sua importância para o desenvolvimento do país, seja a partir da formação de profissionais qualificados, seja a partir da produção do conhecimento. Por isso, inclusive, que a comunidade acadêmica e os órgãos responsáveis pela gestão da pesquisa, do ensino e da extensão têm se empenhado na elaboração de ferramentas para tal finalidade. As avaliações dos programas de pós-graduação, dos cursos de graduação e dos periódicos científicos (Qualis), por exemplo, são provas consistentes da cultura de avaliação que se sedimenta em nossas universidades.
O problema do ranking da Folha de S.Paulo não foi, portanto, o de ter “chacoalhado” uma instituição inerte, mas de tê-lo feito de forma insatisfatória. Não é possível efetivamente usar o referido ranking para escolher uma universidade onde cursar uma graduação, por exemplo, como pretendem seus idealizadores. Se um estudante consultar o RUF, ele vai eliminar, de saída, 132 universidades, de 191 avaliadas (ver “132 universidades com zero em qualidade de ensino“), que obtiveram nota zero no item ensino. Convenhamos, não é razoável.
O ranking da Folha aguçou, porém, uma inquietação crescente no ambiente acadêmico, especificamente nas áreas ligadas ao jornalismo. Se várias atividades e instituições, das mais diversas especialidades, podem ser avaliadas e ranqueadas pelo seu desempenho, a exemplo das universidades, por que as organizações jornalísticas e seus produtos também não poderiam ser?!
Dados preocupantes
Não se trata de mera provocação ou revanchismo, mas do reconhecimento elementar de que o que não pode ser medido e avaliado não pode ter atestada, efetivamente, sua qualidade. Em se tratando de periódicos, por exemplo, a academia avalia as suas publicações científicas por meio do sistema Qualis. Não é uma medição perfeita, mas, no seu conjunto, oferece um guia das melhores publicações em cada área.
Em relação aos periódicos jornalísticos, como avaliar e atestar se um jornal é de qualidade sem a ajuda de indicadores e metodologias que nos permitam um juízo minimamente objetivo acerca de seu desempenho? Foi essa a motivação, inclusive, que levou a Organização das Nações Unidas para a Educação, a Ciência e a Cultura (Unesco) e a Rede Nacional de Observatórios da Imprensa (Renoi) a refletir sobre indicadores de qualidade em jornalismo, parceria que resultou na publicação, em 2010, de quatro trabalhos que dão um panorama introdutório sobre a questão (ver “Publicações discutem qualidade na imprensa brasileira“).
Se esse quatro trabalhos dão um revestimento acadêmico ao problema, há experiências, algumas muito recentes, que promovem a avaliação das organizações jornalísticas. A Associação Nacional de Jornais (ANJ) está à frente de duas, a serem abordadas neste artigo, o que coloca o segmento de jornal impresso numa posição de destaque em relação aos demais da área de jornalismo no Brasil.
Em parceria com o Instituto Ethos, a ANJ criou, em 2008, os “Indicadores Ethos-ANJ de Responsabilidade Social Empresarial para o Setor de Jornais“, por meio do qual são avaliados os temas “Valores, Transparência e Governança, Público Interno, Meio Ambiente, Fornecedores, Consumidores e Clientes, Comunidade e Governo e Sociedade”. Entretanto, seus organizadores advertem: “Toda e qualquer informação de responsabilidade social depreendida do preenchimento dos indicadores Ethos/AJN que vier a ser divulgada pela ANJ sempre refletirá panorama setorial”. Ou seja, o resultado não é individualizado por veículo – logo, o ranking não é possível assim como não é possível saber qual a avaliação de cada organização em relação aos itens avaliados.
O Relatório de Responsabilidade Social 2006/2008 da ANJ está disponível no site da entidade (ver aqui). Neste relatório, das 135 empresas jornalísticas associadas à época, apenas 26 responderam. Juntas, elas representavam 19,3% das associadas e 41,44 % da circulação total média diária de jornais, considerando o ano de 2008 como referência. Para a pesquisa, foram convidadas mais quatro empresas. Os dados a seguir, extraídos do documento, revelam o padrão de responsabilidade social das 30 empresas respondentes:
>> 67,86% têm Código de Ética Empresarial;
>> 67,86% têm Código de Conduta Editorial;
>> 100% não publicam mensagens comerciais antiéticas ou imorais;
>> 75% proíbem a presença de crianças e adolescentes desde a produção à venda do jornal;
>> 89,29% têm programa de saúde e qualidade de vida;
>> 75% têm política de eqüidade nas contratações e salários;
>> 67,86% têm programas especiais de proteção aos jornalistas;
>> 75% têm programa de reciclagem e tratamento industrial;
>> 57,14% têm programa de reciclagem de resíduos gerais;
>> 42,86% exigem certificado de origem do papel de impressão;
>> 67,86% têm projeto de Jornal e Educação;
>> 64,29% têm representantes em entidades, grupos de trabalho e fóruns de interesse social;
>> 92,86% apoiam ou financiam projetos próprios ou da comunidade.
Esses dados, para uma medida do setor, são muito precários, pois são pouco representativos. Mas, considerando-se que os 19,3% dos associados respondem por 41,44% da circulação, o que sugere que as respondentes são as maiores empresas do ramo, alguns dados são particularmente preocupantes: “75% proíbem a presença de crianças e adolescentes desde a produção à venda do jornal”, isto é, em 25% das organizações haveria, pelo menos, omissão em relação ao tópico; e “42,86% exigem certificado de origem do papel de impressão”.
Ranking simulado
Outra iniciativa da ANJ é o Programa Permanente de Autorregulamentação, criado em 2011. O objetivo do programa é avaliar o grau de adesão de seus associados a boas práticas capazes de fazer suas organizações cumprir a missão a que se propõem: “Fazer jornalismo com independência e responsabilidade”. Para isso, são avaliados os indicadores reconhecimento e publicação de erros, canais de atendimento aos leitores, publicação de cartas/e-mails de leitores, fóruns de análise crítica e processos de relacionamento com os leitores.
Os dados desta avaliação foram divulgados recentemente, por setor, no 9º Congresso Brasileiro de Jornais. Mais uma vez, ficamos sem o ranking. Infelizmente, não é disponibilizado publicamente um documento com a avaliação consolidada, por jornal. Apesar disso, a ANJ deu um passo importante e merece o reconhecimento pela atitude. Em relação aos dados divulgados, conforme matéria do Portal Imprensa:
>> 100% dos 154 jornais tem um canal de atendimento com os leitores;
>> 62% dos jornais publicam cartas;
>> 32% reconhecem a publicação de erros;
>> 17% possuem um código de ética e manual de redação;
>> 16% contam com um conselho editorial;
>> 10% têm espaço para cartas e blog de editores;
>> 6% criaram conselho de leitores;
>> 3% jornais possuem um ombudsman.
A identificação dos jornais seria muito útil para cobrar de seus responsáveis ações voltadas à superação das limitações apontadas. E, claro, orientar os leitores na escolha, quando possível, dos jornais que mereceriam sua atenção e o seu dinheiro.
Apesar disso, os poucos dados disponíveis nos permitem simular um ranking de jornais. Propomos o seguinte exercício:
1) vai se construir uma escala conceitual (A, B, C, D e E), na qual A representa as melhores organizações, aquelas que, em tese, atenderiam a todos os itens; B representa as organizações que, em tese, atenderiam a pelo menos seis dos requisitos; C, as organizações que atenderiam, em tese, a pelo menos quatro dos requisitos; D, atenderiam, em tese, a pelo menos dois e E, só atenderiam a um dos requisitos.;
2) como os resultados apresentados não estão discriminados por organização, não é possível saber exatamente qual jornal dispõe de qual ou quais itens, por isso, a fim de viabilizar nosso exercício, vai se considerar que os percentuais de atendimento aos requisitos da ANJ sejam cumulativos.
Este segundo ponto significa que, para efeito da simulação proposta, os 3% dos jornais que possuem um ombudsman atenderiam também a todos os outros requisitos anteriores; que os 6% dos jornais que criam conselhos de leitores atenderiam igualmente a todos os requisitos anteriores. E assim sucessivamente.
A partir desta metodologia, os intervalos para definição das notas pode ser conferido no gráfico abaixo:
A – abaixo da faixa azul: atenderiam a todos os requisitos;
B – entre a faixa azul e a faixa verde: atenderiam a, pelo menos, seis requisitos;
C – entre a faixa verde e a faixa amarela: atenderiam a, pelo menos, quatro requisitos;
D – entre a faixa amarela e a faixa vermelha: atenderiam a, pelo menos, dois requisitos;
E – entre a faixa vermelha e a faixa preta: atenderiam a apenas um dos requisitos.
Iniciativas bem-vindas
O ranking ensaiado não é real, por certo, mas nos permitirá refletir, por um lado, sobre metodologias de avaliação e, por outro, sobre o patamar de desempenho do conjunto das organizações do setor. Com um cuidado: ao contrário do Ranking Universitário Folha, que atribuiu nota zero ao item “ensino” de várias universidades, jogando para baixo a pontuação das avaliadas, em nossa simulação a metodologia joga para cima a nota dos jornais avaliados. Por exemplo, partimos da pressuposição que os 3% de organizações que tenham ombudsman atendam a todos os itens anteriores, o que efetivamente pode não representar uma situação real. É a velha máxima do direito: “In dubio pro reo”.
Abaixo, o quadro que sintetiza nosso exercício:
| Conceito | Padrão de referência | Número de Jornais por conceito* | Percentual |
| A | Atenderiam a todos os requisitos | 5 | 3% |
| B | Atenderiam a 6 ou 7 requisitos | 11 | 7 % |
| C | Atenderiam a 4 ou 5 requisitos | 11 | 7 % |
| D | Atenderiam a 2 ou 3 requisitos | 69 | 45 % |
| E | Atenderiam a 1 dos requisitos | 58 | 38 % |
| Total | 154 (total de jornais) | 100 % | |
* Valores arredondados. Conceito A, 4,62; Conceito B, 10,78; Conceito C, 10,78; Conceito D,69,3; Conceito E, 58,52.
Pelo quadro simulado, 83% dos jornais associados à ANJ estariam com conceito D ou E, conceitos que podem ser considerados insuficientes em relação ao cumprimento das boas práticas jornalísticas definidas pelo Programa Permanente de Autorregulamentação da entidade.
O mais importante na elaboração de um ranking não é necessariamente o ranking em si, mas o processo de avaliação que o gerou. Quando um setor, como o acadêmico ou o de jornais, aceita submeter-se a processos de avaliação e cultiva essa prática, há uma indicação de seu compromisso com a qualidade do seu trabalho. Somente quando um processo de avaliação se consolida é que então um eventual ranking passa a ser significativo.
No jornalismo, os processos de avaliação são incipientes. Mas existem. Iniciativas como a da ANJ são muito bem-vindas. É necessário, entretanto, aprofundar nossos estudos para elaborar e aperfeiçoar requisitos, indicadores e metodologias. Esse esforço não pode ser isolado. Quanto mais segmentos se envolverem no processo, maior poder de representatividade a avaliação terá e consequentemente maior o seu grau de aceitação e orientação.
Em um próximo artigo tratarei de duas outras experiências de avaliação de jornais.
***
[Josenildo Guerra é jornalista, professor da Universidade Federal de Sergipe, integrante da Rede Nacional de Observatórios de Imprensa (Renoi), autor de Sistema de Gestão da Qualidade aplicado ao jornalismo: uma abordagem inicial, uma das quatro publicações da Unesco/Renoi sobre indicadores de qualidade em jornalismo]