Há cerca de dois ano, em dezembro de 2013, recebi uma ligação, em um sábado a noite, de um pai aflito. Com um amigo em comum esse pai havia conseguido meu número, e a indicação de que eu talvez pudesse esclarecer uma dúvida inquietante que ele tinha, sobre o resultado do Enem que suas duas filhas haviam acabado de receber.
“(…) Professor George! Uma tirou 675 e a outra 721 em ciências da natureza, como isso é possível se elas acertaram o mesmo número de questões? Esse resultado pode estar errado? Há como eu entrar com algum recurso?”
De pronto eu entendi o que certamente havia acontecido, mas não consegui explicar de maneira simplificada para aquele pai que estava angustiado pela filha mais nova, que com nota menor que a da irmã, mesmo tendo acertado o mesmo número de questões, estava se sentindo injustiçada.
Após inúmeras tentativas para que ele entendesse como o Instituto Nacional de Estudos e Pesquisas Educacionais (Inep) produz a nota do Enem, o pai desistiu de entender. O que me fez ser tomado por um sentimento terrível de incompetência. Quem é professor sabe bem do que estou falando, é frustrante para nós quando não conseguimos fazer alguém entender algo que nos propusemos a explicar.
O ocorrido me deixou aflito por muito tempo. Pensei em procurar esse pai novamente, mas tive receio de aquela altura ainda não ter elaborado uma explicação boa o suficiente a ponto de fazer com que ele entendesse o porquê das notas diferentes.
A partir deste episódio me propus a aprimorar uma explicação sobre esse assunto, que contemplasse os aspectos técnicos, mas que, sobretudo, fosse didática. E assim tenho feito nos cursos e palestras que ministro pelo país, em escolas públicas e privadas.
E hoje, neste espaço que me cabe, resolvi encarar o desafio de falar disso novamente, de maneira ainda mais sucinta do que faço habitualmente nos cursos e palestras que ministro. Motivado pelo entendimento de que este conhecimento é fundamental para que as escolas possam orientar estudantes, professores e pais, principalmente em um momento tão tenso como é o da prova do Enem em que muitos sonhos estão em jogo.
Espero que ao fim deste artigo o leitor possa ter uma noção, mesmo que rasteira, sobre a nota do Enem. Um aspecto do exame que muitos especialistas consideram uma “caixa preta”.
Anota do Enem
O Enem é um exame que em 04 (quatro) áreas de conhecimento se propõe a avaliar 120 habilidades. Sendo assim, temos 30 habilidades avaliadas em cada uma das quatro áreas. Desta forma, quatro notas são conferidas ao desempenho do participante, uma para cada área de conhecimento.
Estas notas são baseadas na Teoria da Resposta ao Item (TRI), e ao contrário do que se pensa não tem valor de 0 (zero) a 1.000 (mil). Na verdade, para cada uma das áreas temos o que chamamos de “régua”, e nesta régua há um valor mínimo de proficiência (conhecimento) que a prova é capaz de medir. E claro, um valor máximo que nunca chega a 1.000 (mil) pontos. Vejamos estes valores para as últimas edições do Enem:
Se tomarmos como referência a área de ciências humanas, da edição de 2014 do Enem, verificaremos que a nota mínima nesta prova foi de 324,8. Esta nota foi conferida ao participante que não acertou absolutamente nenhum dos 45 itens da prova. O mesmo vale para a nota mínima de todas as demais áreas, em geral equivale a nota de quem errou tudo.
Você pode estar se perguntando, mas alguém que erra tudo não deveria tirar zero? O Enem tem uma maneira diferente de avaliar. A prova é encarada literalmente como um instrumento de medição de proficiência. Desta forma, ela tem um valor mínimo que é capaz de aferir (como qualquer instrumento de medição tem). No caso dos alunos que erram tudo, é dado para eles justamente a pontuação mínima que o instrumento é capaz de medir. Afinal, seria muito injusto, no exemplo que tomamos, se um aluno com proficiência 324,7 ficasse com nota zero só porque o instrumento que o avaliou só mede até 324,8.
Outro aspecto importante é que não há uma relação exata entre o número de acertos e um valor de pontuação específica, ou seja, um determinado número de itens acertados pode equivaler a uma pontuação contida em um intervalo de valores. Vejamos quatro casos distintos analisados a partir da prova de matemática da edição do Enem de 2012.
Perceba que apesar de os quatro participantes terem tido o mesmo número de acertos (20 acertos), suas pontuações foram bem diferentes havendo mais de 300 pontos de distância entre a menor e a maior nota possível para essa quantidade de acertos.
Olhando para a tabela anterior você pode se questionar sobre o porquê do participante I ter uma nota tão alta em relação ao participante III, se ele só acertou itens fáceis e médios. A resposta está em uma palavra que no modelo de TRI utilizada pelo ENEM é fundamental: Coerência.
O conjunto de respostas do participante III é incoerente, pois como ele poderia acertar 15 itens difíceis não tendo acertado nenhum fácil e uma quantidade pequena de itens médios? A resposta está no que tecnicamente chamamos de “acerto casual”, que popularmente conhecemos como “chute”. O sistema identifica esse perfil de respostas e o classifica de maneira a lhe atribuir uma pontuação menor dentro de uma faixa de valores previstos para 20 acertos.
Como se pode ver, no Enem não irá interessar somente o número de acertos do participante, mas principalmente a coerência do seu conjunto de respostas. Neste sentido, a avaliação é mais justa valorizando o conjunto de habilidades que o participante desenvolveu durante a sua preparação.
Voltando ao caso do pai, acho que agora todos já sabem a resposta para o questionamento dele. Uma pena que na época eu não dispunha de tantos dados e exemplos para tentar esclarecê-lo, o que certamente teria facilitado muito o seu entendimento.
A Teoria de Resposta ao Item – TRI
Segundo Karina Karino, ex-coordenadora geral de instrumentos e medidas do Inep, a TRI é um conjunto de modelos matemáticos que são utilizados em avaliações de larga escala, como o Enem e o SAEB. Os modelos a serem utilizados dependerão das características que se deseja para a avaliação. Com isso, a TRI pode ser aplicada a qualquer prova de larga escala, mesmo que elas tenham características bem diferentes.
No caso do Enem, utiliza-se o modelo unidimensional logístico de três parâmetros. Unidimensional porque cada item avalia apenas uma habilidade específica do participante. Os três parâmetros levados em consideração para cada item são:
– Parâmetro de discriminação do item;
– Nível de dificuldade;
– Probabilidade de acerto ao acaso.
Com a utilização da TRI a avaliação além de mais criteriosa torna-se comparável, pois a mesma “régua” construída para a avaliação em um ano pode ser usada em outro, e assim podemos comparar resultados de anos diferentes, o que é muito bem-vindo para as escolas poderem acompanhar a sua evolução e planejar as intervenções necessárias para que os resultados possam melhorar.
Um grande desafio para as escolas
Para escolas, tanto públicas quanto privadas, a nota TRI em suas avaliações é algo inatingível. Neste contexto, os alunos são preparados sem nenhuma referência de qual a sua provável nota no Enem.
Os simulados realizados nestas instituições dão conta apenas de determinar o número de acertos do aluno, o que como vimos não diz muito sobre qual será sua nota TRI.
Sendo assim, com raras exceções, no que diz respeito ao Enem, podemos dizer que as escolas estão trabalhando hoje “de olhos vendados”, dificultando o estabelecimento de um quadro de metas que possam ser atingidas a partir da verificação do desempenho dos alunos ao longo de cada ano do ensino médio.
George Castro, supervisor do Pacto Nacional pelo Fortalecimento do Ensino Médio, diretor executivo da
Macedo de Castro consultoria educacional, ex-professor da Universidade Federal do Pará, ex-diretor do
ensino médio e educação profissional do estado do Pará.