Confiabilidade e validade dos indicadores de qualidade do ensino superior – o caso do IDD

Resumo

Desde 2014 o INEP erra no calculo de um dos indicadores de qualidade de cursos no ensino superior, o chamado IDD. Este indicador é o principal componente do CPC, a “Nota do MEC” de um curso em nível superior. Corrigindo o erro mudaria a classificação de muitos cursos. Por exemplo, 9 cursos de Medicina avaliados em 2019 que foram considerados “satisfatórios”, seriam avaliados como “não-satisfatório” se cálculo correto seria usado. Procurado, o INEP afirma que não irá recalcular o CPC usando a metodologia correta. Veja o preprint que descreva o resultado da pesquisa (submetido para publicação). (19/07/2021: este trabalho foi publicado em Avaliação: Revista da Avaliação da Educação Superior)

Abaixo resumo os resultados principais da pesquisa.

Introdução

O INEP é o órgão do governo federal responsável pela construção de avaliações, estatísticas e indicadores educacionais. Uma das suas responsabilidades é criar indicadores de qualidade de instituições e cursos de ensino superior. Estes indicadores, às vezes chamados de “Nota do MEC”, fazem parte de um sistema regulatório desenhado para assegurar a qualidade do ensino superior, uma tarefa dificultada pelo grande número e variedade de cursos e instituições atuando no Brasil.

Segundo o Censo da Educação Superior de 2019, existam atualmente no Brasil 2600 Instituições de Ensino Superior (IES), dos quais 300 são públicos. Estas Universidades, Faculdades e Centros Universitários oferecem um total de 40 mil cursos. Como os quase 9 milhões de estudantes (3,6 milhões de ingressantes) escolham sua universidade ou faculdade? Como podem avaliar a qualidade dos cursos? É o MEC que autoriza a abertura de novos IES e cursos e seu funcionamento continuado. O Brasil é um dos poucos países no mundo que neste sistema regulatório faz uso intenso de indicadores quantitativos, gerados a partir do dados do Censo (como o número de Doutores e Mestres no corpo docente e indicadores de infraestrutura) e o ENADE, o exame padronizado aplicado a estudantes concluindo seu curso. Há visitas in loco também (necessariamente para novos IES e cursos), mas o indicador quantitativo chamado CPC é o mais importante para o re-credenciamento de cursos existentes.

ENADE, valor agregado e o IDD

O CPC é um indicador composto com o objetivo de quantificar a “qualidade” de um curso no ensino superior. Veja seus componentes:

Fonte: Camila Ikuta, doi.org/10.18222/eae.v27i66.4039

A maior parte do CPC deriva do ENADE e o chamado IDD, o indicador de valor agregado que entra com peso de 35%. Valor agregado neste contexto busca “controlar” o desempenho dos egressos de um curso no ENADE pela aptidão acadêmica dos seus ingressantes. Na prática é uma tentativa de dar o devido valor no CPC para cursos com baixa seletividade. Afinal, cursos com ingressantes com baixas notas no ENEM tendem a ter desempenho baixo no ENADE, mas alguns cursos agregam mais valor (no sentido de conseguir elevar a nota ENADE dos egressos) do que outros e devem ser reconhecidos por isso.

O modelo do INEP para “controlar” o desempenho dos egressos de um curso pela aptidão acadêmica dos seus ingressantes usa a nota do ENEM. Como esquematizado na figura abaixo, verifique-se que a nota na ENADE do ingressante é aproximadamente proporcional a sua nota no ENEM. Mas alguns cursos (o dos egressos azuis na figura) conseguem elevar a nota da ENADE mais que outros (o dos egressos laranjas), apesar de ter uma turma com notas no ENEM pior.

Esquerda: dados simulados, ilustrando como as notas no ENADE de estudantes podem ser associadas com sua nota ENEM. Curso 1 (azul) agrega mais valor que os outros cursos. Direita: notas de egressos de dois cursos reais. O “intercept” é a medida correta do valor agregado, mas o INEP usa a média dos resíduos (IDDic)

O erro do INEP

Acontece que desde 2014, quando o INEP mudou sua metodologia de cálculo do IDD, este indicador está sendo calculado errado. Um primeira indicação que algo está muito errado é que o indicador tem o comportamento de um gerador de números aleatórios. Na figura abaixo, mostro os IDD dos cursos de Engenharia Civil avaliados em 2019. Se o IDD é calculado segundo o método do INEP, somente cursos com um número da estudantes avaliados abaixo de 50 tem valores altos ou baixos. Todos os cursos com número alto de participantes no ENADE são avaliados como medianos. Este é uma primeira indicação que o IDD como calculado pelo INEP em grande parte é aleatório, sem relação com a qualidade do curso.

Ao investigar, descobri que a razão deste comportamento é que o INEP faz um erro simples: ao invés de usar o intercepto para estimar o valor agregado usando o modelo estatístico visualizado no gráfico acima, usam a média do resíduos (IDDic, na figura acima). Isso é um erro que faz, nas palavras do ex-presidente do INEP Reynaldo Fernandes, o indicador ser “por construção um ruído aleatório”.

Se usar o método correto, há menos o comportamento típico de um “gerador de números aleatórios”.

Cada ponto corresponde a o IDD de um curso na área Engenharia Civil, calculado segundo o método do INEP (esquerda) ou segundo o método correto (direita). Repare a quantidade de pontos verdes (cursos com IDD satisfatório segundo o método INEP) com IDD insatisfatório (categoria 1 ou 2) quando calculado corretamente (direita).

Consequências

Para fins regulatórios o INEP transforma o CPC em 5 categorias. Sem muitas justificativas, alias, é dada a interpretação que as categorias 1 e 2 são “insatisfatórias” e 3-5 “satisfatórios”. Há um estudo interessante a se fazer sobre a (falta de) validação destes conceitos e a maneira que são calculados, mas a realidade administrativa atual é que cursos avaliados com conceito CPC 1 ou 2 podem receber uma visita in loco e são colocados em observação.

O IDD tem um peso de 35% no CPC e o erro do cálculo do INEP faz por exemplo 9 dos 215 cursos avaliados na área de Medicina “cair” de um conceito satisfatório para insatisfatório (veja quais são abaixo).

CursoSigla IESOrg AcadCat AcadCPC (INEP)CPC (faixa)CPC (corrigido)CPC (faixa corrigido)
18594UNESAUniversidadePrivada com fins lucrativos2.26131.6222
7414UNIGUniversidadePrivada sem fins lucrativos2.40431.8692
18605UNIGRANRIOUniversidadePrivada com fins lucrativos2.07931.6822
10289FMCFaculdadePrivada sem fins lucrativos2.34831.8512
15343UNITAUUniversidadePública Municipal2.17631.7232
49060UNINILTONLINSUniversidadePrivada sem fins lucrativos2.09331.8112
19206UNIMESUniversidadePrivada sem fins lucrativos2.34231.7452
69464UNIPLACUniversidadePrivada sem fins lucrativos2.04631.7742
60660UEAUniversidadePública Estadual1.95331.6152
Os nove cursos de Medicina avaliados em 2019 que receberam uma conceito CPC “satisfatório”, mas que seriam considerados insatisfatórios se o IDD fosse calculado corretamente.

Reação do INEP

Mostrei o preprint a dois ex-diretores do INEP, o Prof. Otaviano Helene e Prof. Reynaldo Fernandes (ambos meus colegas na USP). Deram feedback positivos que incorporei no texto e me disseram que foram convencidos do argumento principal do texto.

Procurado, os representantes do INEP disseram que não tem previsão de re-calcular o CPC para os anos 2014-2019. É interessante contemplar que segundo o INEP gerar um número para fins regulatórios é considerado finalidade em si mesmo, não sendo passível de correções.

Conclusão

O titulo do preprint é “A correct method to calculate the IDD value added indicator in the Brazillian higher education quality assurance framework”. Mas não estou afirmando que o método corrigido é necessariamente a melhor forma de criar um indicador para valor agregado. Na verdade, sou bastante cético em relação a possibilidade de criar indicadores “objetivos” ou quantitativos confiáveis e válidos a partir dos dados do ENADE. Não é a toa que o Brasil é o único país no mundo que organiza seu sistema de avaliação do ensino superior desta forma. É muito difícil criar um exame padronizado para egressos superior, sobretudo porque em comparação com etapas escolares anteriores a variedade de objetivos é muito grande.

Acredito também que este episódio mostra como falta no INEP uma cultura de validação das métricas que geram. É desmoralizante saber que um indicador de qualidade é calculado com um erro grosseiro por seis anos sem que algum ator interessado, como gestores de cursos universitários ou gestores do MEC, levantar algum tipo de dúvida. Na minha opinião, isso parece mostrar que os números do MEC, pelo menos neste caso, servem mais para gerar um espécie de objetividade raso e performático, sem que há interesse saber se há uma realidade por trás destes números.