Desde o início deste mês, quando o Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira (Inep) divulgou o resultado do Enem por escola, tenho atendido inúmeras solicitações de esclarecimento a respeito do “Ranking do Enem”. Jornalistas, donos de escolas, pais, diretores, professores, coordenadores, todos têm alguma dúvida sobre o resultado divulgado. Os anos de experiência como consultor educacional, trabalhando principalmente com o exame nacional do ensino médio, tem me mostrado que apesar do perfil variado das pessoas que vem em busca de explicações, as dúvidas quase sempre são motivadas por dois interesses: encontrar uma forma de relativizar a classificação de uma escola, conseguindo dar mais destaque para o seu resultado, interesse geralmente de donos de escola, coordenadores e diretores; e, saber realmente que escolas oferecem a melhor qualidade de ensino, interesse de pais e de grande parte da imprensa.
O problema é que em um contexto como esse, de interesses tão distintos e em certa medida até inconciliáveis, há espaço para tudo que se possa imaginar: despreparo de alguns gestores, conclusões equivocadas, generalizações absurdas, intervenções mal planejadas e até mesmo para a má fé. Falo em má fé porque o Enem, com seus milhões de inscritos a cada ano, criou um grande mercado de uma infinidade de coisas: livros, apostilas, plataformas, vídeo-aulas, simulados, aplicativos, palestras. Todos prometendo a mesma coisa, resultados. E é nessa promessa que as vezes reside a má fé, tanto de quem vende soluções mágicas, quanto de quem as compra. Quando a lógica do mercado se entranha mais do que deve na educação o bom senso desaparece, e é comum se ver gestores esquecendo que resultados levam tempo para aparecer, são fruto de um conjunto de intervenções que interligadas criam um contexto favorável para que eles finalmente surjam.
Mas há quem trate o tema com o devido cuidado, analisando-o de maneira técnica, fazendo as ponderações necessárias para orientar de forma lúcida e clara quem não tem a experiência necessária para trabalhar com um volume de dados como os que o Inep disponibiliza sobre o Enem. E quando se fala em trabalhar com os dados, não se fala somente em olhar os números e compará-los, pois, esta é a forma mais simples e pobre com que eles podem ser utilizados. Gestores que desejam elevar os resultados de sua instituição devem estar preparados para a partir da análise dos dados seguir alguns passos: primeiro, entender o que produziu o resultado que possui hoje; segundo, pensar em um conjunto de intervenções para que os resultados melhorem; terceiro, planejar cuidadosamente a implementação de cada intervenção; quarto, criar indicadores de resultado e de processo para avaliar cada uma das intervenções realizadas.
Como se vê é um trabalho profissional, de altíssima especialização, que requer um profissional que transite com facilidade por áreas bem distintas, como: pedagogia, estatística e administração. Profissionais assim são escassos, e para surpresa geral a maioria deles não estão em escolas, sistemas de ensino ou secretarias de educação, estão no terceiro setor: em ong’s, os’s, fundações e institutos. Talvez seja justamente por esta falta de um olhar mais especializado ao se analisar os resultados do Enem que estejamos a mercê de interpretações bem questionáveis, que em alguns casos não se dão somente por conta do despreparo de quem olha para as informações divulgadas pelo Inep, mas por conta também do interesse de quem os manipula a fim de dar mais visibilidade aquilo que lhe favorece.
Um bom exemplo disto aconteceu no estado do Amazonas, em 2014, quando fui convidado para dar uma palestra sobre o Enem na capital, Manaus. Durante minha apresentação mostrei um quadro comparativo com as médias no ENEM de todas as redes estaduais do Brasil, neste quadro o Amazonas aparecia em 26º lugar, na penúltima colocação dentre todas as unidades da federação. O estudo que realizei logo caiu na imprensa amazonense, as matérias publicadas chegaram a ser tema de debate até na assembleia legislativa. A secretaria de educação (SEDUC) se defendeu emitindo uma nota em que dizia que os dados do Enem não eram representativos e, portanto, o resultado não poderia ser levado em consideração. Um ano após o ocorrido, em 2015, já em uma colocação melhor, 21º lugar, a mesma secretaria divulgou em seu site um estudo parecido em que se autoparabenizava pelo seu esforço em melhorar a educação amazonense. Ou seja, de um ano para o outro os dados passaram a ser olhados de forma diferente, tornaram-se relevantes.
Na iniciativa privada as coisas também não são diferentes, na verdade, são até piores. Recordo-me da história curiosa de uma escola que após vários anos obtendo a maior média da rede privada no seu estado, teve a sua trajetória interrompida por um concorrente que naquele ano criou uma escola “fictícia” apenas com seus melhores alunos, obtendo com este estratagema o primeiro lugar. A escola prejudicada bradou muito nas redes sociais contra a concorrente alegando deslealdade, falta de ética, desonestidade e outros impropérios. Para minha surpresa, meses depois recebo a notícia de que a escola prejudicada resolveu já para o ano seguinte adotar a mesma estratégia da rival, ou seja, faria exatamente o mesmo que tanto criticou, tudo em busca da recuperação da primeira colocação perdida.
Como se pode ver o resultado do Enem é cercado de verdades que são hora convenientes hora inconvenientes, tudo depende do interesse de quem quer utilizar os dados. Mas como fugir disso? Como não cair nos engodos mais comuns? Pensando em lançar luz sobre estas questões, discutirei a partir daqui alguns pontos que são fundamentais para quem deseja olhar o resultado do Enem com um olhar mais técnico e, portanto, mais crítico.
O resultado do Enem mostrou o abismo que existe entre a escola pública e privada no Brasil
Esta frase foi usada na chamada de um grande telejornal brasileiro para dar destaque ao resultado do Enem 2015. A reportagem chamava atenção para o fato de que entre as 100 primeiras escolas com a melhor média no exame nacional do ensino médio, apenas três eram públicas sendo todas as demais da rede privada. Desta comparação surgiu a conclusão de que no Brasil há um abismo entre a rede pública e a privada.
Para quem atua na educação pública, seja como professor, coordenador ou diretor, a diferença entre as duas redes é algo evidente, principalmente no que diz respeito a estrutura física, a valorização dos profissionais e a gestão. Dados retirados do Indicador de desenvolvimento da educação básica (Ideb) e do Indicador de oportunidades da educação brasileira (Ioeb) são muito mais adequados para se tentar evidenciar o distanciamento entre estas duas redes, isto porque diferentemente do Enem estes indicadores levam em consideração além do aprendizado do aluno (proficiência) outros fatores, como: taxa de aprovação, taxa de abandono, experiência dos diretores e número de horas de aula por dia.
Ao se olhar o resultado das 100 escolas com as melhores médias no Enem, é um equívoco muito grande não se atentar para o indicador socioeconômico (Inse) dos alunos destas instituições, todas elas são classificadas pelo Inep como tendo indicador socioeconômico muito alto ou alto. E por que prestar atenção neste “detalhe” é importante? Pesquisas no âmbito educacional tem revelado que este indicador pode impactar de 60% a 80% no resultado obtido em avaliações de larga escala, a explicação seria porque com maior poder aquisitivo os estudantes podem ter acesso a contextos de aprendizagem muito diversos que acrescentam bastante em sua formação, como: viagens, livros, tv a acabo, internet, shows e peças de teatro. Veja no quadro a seguir o quanto o indicador socioeconômico influencia na média das escolas.
Para se verificar o engano cometido ao se olhar apenas para as primeiras 100 escolas do ranking do Enem, basta se estender a análise para as quase 15.000 escolas públicas e privadas que tiveram seus resultados publicados pelo Inep. Fazendo isto encontramos sim um abismo, mas um abismo social, pois das 5.760 instituições que encontramos apresentando indicador socioeconômico alto ou muito alto, apenas 1.063 são públicas (980 estaduais, 42 federais e 41 municipais). Ou seja, de todas as escolas com indicadores socioeconômicos mais elevados (alto ou muito alto) somente 18,4% são públicas, e isto é o que realmente explica a pouca presença destas instituições na parte de cima do Ranking, entre as 100 primeiras colocadas.
Vale salientar que o que colabora ainda mais para que escolas estaduais, federais e municipais, fiquem de fora do grupo das 100 maiores médias é um estratagema que citei logo no início desta matéria, muito utilizado pelas redes privadas: o de criar escolas fictícias com um grupo reduzido de seus melhores alunos. O objetivo desta estratégia é unicamente obter um resultado de destaque que possa servir posteriormente para as campanhas de marketing das instituições. Um artifício que apesar de ser eticamente questionável tem se proliferado por todo o Brasil, um atalho rumo a uma boa colocação que muitas escolas resolveram tomar.
É possível se confiar em um ranking que leva em consideração somente as médias das escolas?
Absolutamente não. Rankings assim são inconfiáveis, para ser mais franco, nem devem ser levados em consideração. E foi justamente por entender isto que o próprio Inep divulgou este ano, pela primeira vez, o que chamou de rankings alternativos, classificações das escolas que levam em consideração parâmetros contextuais, como: porte da escola, indicador de permanência na escola, indicador de formação docente, número de alunos participantes no Enem e indicador socioeconômico. No total foram apresentados mais de 40 rankings diferentes. A mensagem que o Inep quis passar com isso é a de que os resultados divulgados devem, e precisam, ser relativizados.
Só para se ter ideia do quanto uma análise mais apurada pode mudar completamente o entendimento das coisas, se a partir de todas as escolas (públicas e privadas) criarmos um ranking que leve em consideração três critérios:
– Indicador socioeconômico alto;
– Somente escolas de grande porte (com mais de 90 alunos matriculados);
– Alunos que cursaram 80% ou mais do ensino médio na instituição.
Chegaremos as seguintes instituições:
Observe que neste ranking quem passa a se destacar são as escolas públicas, com seis instituições dentre as dez primeiras, contra apenas quatro da rede privada. Isto quer dizer que o ensino médio público no Brasil é melhor que o ensino médio privado? Sim, o ensino médio público das escolas federais pode ser entendido assim, pois as seis escolas públicas que aparecem no ranking são todas da rede federal. Repare como o entendimento das coisas muda à medida que manipulamos os dados adotando critérios que deixam a análise mais específica.
Como vem sendo o resultado das redes pública estadual, pública federal e rede privada?
Uma das grandes vantagens do conjunto de modelos matemáticos utilizados para produzir a nota do Enem é que ele nos fornece um valor que permite a comparação com o resultado dos anos anteriores. Sendo assim, as escolas podem avaliar se ao longo do tempo o seu desempenho vem melhorando, piorando ou se ficou estabilizado. Uma análise dessas serve para verificar o êxito ou não do trabalho pedagógico realizado por uma escola, sistema de ensino ou até mesmo de uma rede inteira, no sentido de produzir resultados para o Enem.
A análise das redes estadual, federal e privada deve sempre ser feita de forma separada, pois cada uma delas tem realidades bem diferentes. Seria demasiadamente errôneo colocá-las todas no mesmo grupo tratando-as de maneira equivalente. Os resultados mostrados a seguir foram elaborados a partir dos dados sobre o Enem divulgados pelo Inep para os anos de 2013, 2014 e 2015. Vejamos:
As redes estaduais
O quadro a seguir mostra a evolução das médias das redes estaduais (e do Distrito Federal) no Enem nos últimos três anos. Vale ressaltar que os alunos das redes estaduais em geral têm uma taxa de participação no exame que fica entre 50% e 60%, um percentual que compromete a obtenção de um resultado preciso, mas que nem por isso pode ser ignorado, pois consegue medir com boa aproximação o desempenho da escola e, consequentemente, de toda a rede.
As redes privadas
Já as redes privadas, dispostas no quadro a seguir, possuem uma altíssima taxa de participação de seus alunos no Enem, o que assegura que o resultado do exame reflete exatamente o desempenho institucional, ou seja, o quanto a rede foi capaz de desenvolver nos seus alunos as 120 habilidades exigidas nas quatro provas do exame.
As redes federais
A rede federal sempre se destaca com as maiores médias do país, tendo inclusive resultados sempre superiores aos da rede privada. Se por um lado a explicação para o bom resultado pode ser atribuído ao fato de serem instituições onde os alunos só ingressam através de testes de seleção, por outro lado pode-se creditar o êxito ao qualificado quadro docente que estas instituições possuem e as condições de trabalho bem superiores aos da rede estadual e até mesmo da rede privada.
A fé cega em ferramentas
Como disse anteriormente, existe hoje a disposição de gestores um verdadeiro arsenal para o Enem: livros, apostilas, plataformas, vídeo-aulas, simulados, aplicativos, palestras. Todos prometem ser a panaceia para o mal desempenho das escolas. Recordo-me de um diretor que certa vez me disse que tinha se cercado de todos os cuidados para que sua escola tivesse um bom resultado no Enem: adquiriu um material didático que dizia ser o melhor para a preparação para o exame, contratou os serviços de uma plataforma online e de uma empresa de simulados no estilo do Enem. Parecia tudo certo, com tantas ferramentas seria difícil não se obter bons resultados, pelo menos no entendimento do gestor. Para surpresa dele (mas não a minha) no ano seguinte o resultado foi pior do que o do ano anterior.
Onde o gestor pecou? No mais óbvio, mas também mais difícil de se realizar quando se fala de ensino médio privado: no investimento em formação continuada para os professores. E que se ressalte bem a palavra “continuada”, porque é isso que o processo de formação deve ser para que os resultados apareçam, algo contínuo, ininterrupto, e aí deve-se pensar em pelo menos 150 a 200 horas de formação distribuídas ao longo de no mínimo dois anos. Por mais incrível que pareça, este entendimento da necessidade de formação continuada para professores já foi incorporado há muito pelo ensino público, o que falta são as condições para realiza-lo. É por isso que muitas secretarias de educação estaduais e municipais em todo Brasil vem se esforçando em criar centros de formação para seus professores. O próprio ministério da educação (MEC) vem trabalhando nos últimos anos com dois grandes programas de formação continuada: o pacto nacional pela alfabetização na idade certa (PNAIC) e o pacto nacional pelo fortalecimento do ensino médio (PNEM).
A grande lição que se tira de tudo isso é que ferramentas são importantes, podem sim fazer a diferença e gerar resultados melhores, mas somente nas mãos de profissionais que além de serem preparados para utilizá-las sabem porque as estão utilizando, tem ciência e consciência das etapas e obstáculos do processo, assim como dos objetivos que querem alcançar. Subestimar a importância da formação continuada de professores para a obtenção de bons resultados através de uma fé cega em ferramentas, é o mesmo que crer que para uma boa cirurgia é preciso apenas um bom bisturi independentemente do preparo do cirurgião.
George Castro já foi diretor de ensino médio e educação profissional de toda a rede pública do estado do Pará, supervisor do programa pacto nacional pelo fortalecimento do ensino médio (PNEM), membro do comitê estadual do programa do ensino médio inovador (PROEMI) e membro do programa nacional do livro didático (PNLD). Atualmente atua como consultor educacional.