Perícia no Inep revela fragilidades na avaliação do Enem 2016

Fragilidades identificadas na metodologia de pontuação do Enem 2016

Uma análise técnica conduzida no Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira revelou problemas significativos no processo de avaliação do Enem 2016. A perícia no Inep, solicitada pelo Ministério Público Federal em Uberlândia após ação judicial, examinou detalhadamente os procedimentos de cálculo das notas das duas aplicações realizadas naquele ano, apontando vulnerabilidades que poderiam ter comprometido a igualdade entre os candidatos.

O perito Tufi Machado Soares, professor de Estatística e especialista em Teoria da Resposta ao Item (TRI) pela Universidade Federal de Juiz de Fora, foi responsável pela investigação. Com experiência no conselho científico do Enem e acesso a informações confidenciais do instituto, produziu laudo com 207 páginas documentando as falhas encontradas na perícia do Inep.

Contexto das duas aplicações de 2016

Em 2016, movimentos de ocupação estudantil em escolas públicas de 23 estados e no Distrito Federal impossibilitaram a realização única do exame. A primeira aplicação ocorreu em 5 e 6 de novembro, com participação de aproximadamente 5,8 milhões de candidatos. A segunda etapa, adiada para 3 e 4 de dezembro, contou com menos de 170 mil participantes inscritos, apresentando significativa diferença numérica entre as duas edições.

Essa desproporção no número de participantes gerou preocupações quanto ao impacto nos resultados finais. Candidatos que realizaram a segunda aplicação começaram a relatar, após divulgação dos resultados em janeiro de 2017, que obtiveram notas consideravelmente menores comparadas aos seus colegas que fizeram a prova em novembro, levantando questões sobre a equidade do processo de avaliação utilizado.

Principais fragilidades apontadas na perícia do Inep

O laudo técnico apresentou vulnerabilidades estruturais no funcionamento da perícia do Inep, ordenadas conforme sua relevância. A primeira deficiência identificada refere-se ao reduzido número de questões comuns previamente testadas, que serviriam como parâmetro de calibração entre as duas provas diferentes. Em segundo lugar, destacou-se o tamanho insuficiente das amostras utilizadas em alguns pré-testes para validação das questões.

A precisão nos relatórios de resultados enviados ao público constituiu outra fraqueza observada na perícia do Inep. O quarto ponto crítico foi a ausência de divulgação adequada sobre a qualidade técnica dos testes e das medidas estatísticas empregadas. Esses problemas combinados criaram cenário onde a comparação direta entre os desempenhos dos dois grupos de candidatos tornou-se metodologicamente questionável.

Análise disciplinar e diferenças de desempenho

A perícia do Inep demonstrou que Ciências Humanas e Ciências da Natureza apresentaram níveis de precisão similares entre as duas aplicações em praticamente todos os níveis de proficiência. A prova de Ciências da Natureza da segunda aplicação mostrou-se ligeiramente menos rigorosa que a primeira versão.

Contrastes mais expressivos surgiram em Linguagens e Códigos e Matemática. Na primeira disciplina, candidatos da aplicação de novembro obtiveram vantagem sistemática. Na segunda matéria, ocorreu fenômeno inverso, com benefício para participantes de dezembro. O perito ressalvou, porém, que análises individualizadas de comparabilidade não permitiriam conclusões definitivas na maioria dos casos avaliados pela perícia do Inep.

Resposta do Inep às conclusões da perícia

O Instituto Nacional de Estudos e Pesquisas Educacionais informou que não foi notificado oficialmente sobre os resultados da perícia realizada entre 5 e 9 de fevereiro de 2018. Defendendo sua metodologia, o Inep argumentou contar com assessoria de especialistas reconhecidos em análise estatística e psicométrica de avaliações em larga escala, afirmando segurança total quanto aos procedimentos adotados desde 2009 na perícia do Inep.

Em comunicado oficial, a instituição caracterizou o laudo como "opinião isolada", rejeitando as críticas apresentadas. O Inep sublinhou que sua metodologia goza de reconhecimento nos âmbitos nacional e internacional, prometendo pronunciamento formal quando devidamente notificado sobre os achados da perícia.

Procedimentos seguintes e ações do Ministério Público

O procurador Leonardo Macedo, responsável pela investigação civil sobre irregularidades no Enem 2016, encaminhou os resultados da perícia do Inep para o instituto e estudantes prejudicados. Explicou que o laudo extenso não apresenta conclusão única, demandando análise cuidadosa de todas as partes interessadas.

O MPF planeja realizar audiência pública onde diferentes perspectivas serão apresentadas antes de decidir sobre medidas futuras. Conforme o procurador, as opções incluem solicitação de indenizações, revisão de notas de candidatos ou outras medidas compensatórias. Ressalvou que a instituição procede "com cautela", comparando o assunto a "elefante de porcelana" que exige manejo delicado, demonstrando a complexidade envolvida na perícia do Inep.

Histórico de reclamações dos candidatos

A investigação iniciou após janeiro de 2017, quando resultados foram divulgados. Estudantes de todo país procuraram o Ministério Público relando insatisfação com notas obtidas. Análise das pontuações revelou discrepâncias significativas quando comparadas com candidatos da primeira aplicação, sugerindo que a metodologia TRI teria favorecido sistematicamente um grupo em detrimento do outro durante a perícia do Inep.

Procurador explicou que a Teoria da Resposta ao Item considera proporção de candidatos participantes. Destacou necessidade de considerar diferenças no percentual de "treineiros", na maior abstenção da segunda aplicação e no perfil dos candidatos em locais específicos de provas, fatores que teriam interferido nos cálculos realizados na perícia do Inep.

Contexto das ocupações estudantis em 2016

Movimento de ocupações iniciou-se em outubro de 2016 no Paraná, expandindo-se nacionalmente como protesto contra reforma do ensino médio e PEC 241. Levantamentos indicavam que ocupações em centenas de escolas comprometiam a realização do exame para dezenas de milhares de estudantes. Na véspera da primeira aplicação, governo federal anunciou adiamento em 364 locais de prova.

Na primeira aplicação de novembro, abstenção atingiu cerca de 30%, enquanto na segunda etapa alcançou 40%, evidenciando disparidade no perfil dos grupos testados. Essa distinção no padrão de participação tornou-se central na discussão sobre possíveis distorções na perícia do Inep e na metodologia de avaliação empregada.