Imagine que, ao fazer um exame da faculdade, em vez de você receber sua nota do professor algumas semanas depois, você possa clicar no botão “Enviar” ao terminar o teste e receber de volta instantaneamente o resultado, tendo sua redação avaliada por um programa de computador. Agora imagine que esse sistema permita que você imediatamente refaça o exame para tentar melhorar a nota.
EdX, uma empresa sem fins lucrativos fundada pela Universidade Harvard e pelo MIT (Instituto de Tecnologia de Massachusetts) para oferecer cursos on-line, lançou esse sistema e vai disponibilizar seu software automatizado de graça na internet para qualquer instituição que queira usá-lo.
O software utiliza inteligência artificial para avaliar as redações e respostas curtas por escrito, liberando os professores para outras tarefas.
Embora os sistemas de notas automáticas para testes de múltipla escolha estejam disseminados, o uso da tecnologia para dar notas a redações ainda não recebeu apoio generalizado de educadores e tem muitos críticos.
“Segundo leitor”
Anant Agarwal, presidente da EdX, previu que o software de notas instantâneas seria uma ferramenta pedagógica útil, permitindo que os estudantes façam testes e escrevam redações várias vezes para melhorar a qualidade de suas respostas. “Os alunos nos dizem que estão aprendendo muito mais com o 'feedback' instantâneo”, disse o doutor Agarwal.
Mas os céticos dizem que o sistema automático não se compara a professores reais.
Um antigo crítico, Les Perelman, chamou a atenção várias vezes ao criar redações absurdas que enganaram o software, fazendo-o dar notas altas.
“Minha primeira e maior objeção à pesquisa é que eles não fizeram um teste estatístico válido comparando o software com avaliadores humanos”, disse Perelman, diretor de redação aposentado e atual pesquisador no MIT.
Ele faz parte de um grupo de educadores que circula uma petição contra o software de avaliação automática. O grupo já coletou quase 2.000 assinaturas.
“Vamos encarar a realidade das notas de testes automáticos”, diz uma parte da declaração do grupo. “Os computadores não sabem ler. Eles não podem medir os fatores essenciais da comunicação escrita eficaz: precisão, raciocínio, adequação de evidências, bom senso, posicionamento ético, argumentação convincente, organização significativa, clareza e veracidade, entre outros.”
A ferramenta de avaliação EdX exige que professores ou avaliadores humanos primeiro deem nota a cem redações. Então o sistema usa as técnicas de aprendizado mecânico para se treinar e ser capaz de dar notas a qualquer número de redações ou respostas quase instantaneamente.
O software vai atribuir uma nota dependendo do sistema de avaliação criado pelo professor e fornecerá um “feedback” geral, como dizer a um estudante se uma resposta tratava do assunto certo.
O doutor Agarwal acredita que o software se aproxima da capacidade de avaliação humana. “Há um longo caminho a percorrer no aprendizado mecânico, mas ele já é bom o suficiente e a vantagem é muito grande”, disse. “Descobrimos que a qualidade das notas é semelhante à variação encontrada de instrutor para instrutor.”
A EdX não é a primeira a usar tecnologia automatizada de avaliação, que data dos primeiros computadores “mainframe” dos anos 1960. Várias companhias oferecem programas comerciais para dar notas a respostas em testes escritos. Em alguns casos, o software é usado como um “segundo leitor” para verificar a confiabilidade dos avaliadores humanos.
Falta de percepção
A Universidade Stanford, na Califórnia, anunciou recentemente que vai trabalhar com a EdX para desenvolver um sistema educacional conjunto que incorporará a tecnologia de avaliação automática.
Duas start-ups fundadas recentemente por professores de Stanford para criar “cursos abertos de massa on-line” (Mooc, na sigla em inglês) também se dedicam a sistemas de avaliação automática.
No ano passado, a Fundação Hewlett patrocinou dois prêmios de US$ 100 mil destinados a aperfeiçoar um software que avalia testes de respostas curtas.
Mark D. Shermis, professor da Universidade de Akron, em Ohio, supervisionou o concurso da Fundação Hewlett.
Na opinião dele, a tecnologia -embora imperfeita- tem seu lugar no ambiente educacional.
Com classes cada vez maiores, é impossível para grande parte dos professores dar aos estudantes um “feedback” significativo sobre tarefas de redação, segundo Shermis.
Além disso, ele notou que os críticos da tecnologia tendem a vir das melhores universidades americanas.
“Muitas vezes, eles vêm de instituições muito prestigiosas, onde o 'feedback' recebido pelos alunos é muito melhor do que uma máquina seria capaz de dar”, disse o doutor Shermis. “Falta a percepção do que acontece de fato no mundo real.”
******
John Markoff, do New York Times