Confiabilidade e validade dos indicadores de qualidade do ensino superior – o caso do IDD

Resumo

Desde 2014 o INEP erra no calculo de um dos indicadores de qualidade de cursos no ensino superior, o chamado IDD. Este indicador é o principal componente do CPC, a “Nota do MEC” de um curso em nível superior. Corrigindo o erro mudaria a classificação de muitos cursos. Por exemplo, 9 cursos de Medicina avaliados em 2019 que foram considerados “satisfatórios”, seriam avaliados como “não-satisfatório” se cálculo correto seria usado. Procurado, o INEP afirma que não irá recalcular o CPC usando a metodologia correta. Veja o preprint que descreva o resultado da pesquisa (submetido para publicação). (19/07/2021: este trabalho foi publicado em Avaliação: Revista da Avaliação da Educação Superior)

Abaixo resumo os resultados principais da pesquisa.

Introdução

O INEP é o órgão do governo federal responsável pela construção de avaliações, estatísticas e indicadores educacionais. Uma das suas responsabilidades é criar indicadores de qualidade de instituições e cursos de ensino superior. Estes indicadores, às vezes chamados de “Nota do MEC”, fazem parte de um sistema regulatório desenhado para assegurar a qualidade do ensino superior, uma tarefa dificultada pelo grande número e variedade de cursos e instituições atuando no Brasil.

Segundo o Censo da Educação Superior de 2019, existam atualmente no Brasil 2600 Instituições de Ensino Superior (IES), dos quais 300 são públicos. Estas Universidades, Faculdades e Centros Universitários oferecem um total de 40 mil cursos. Como os quase 9 milhões de estudantes (3,6 milhões de ingressantes) escolham sua universidade ou faculdade? Como podem avaliar a qualidade dos cursos? É o MEC que autoriza a abertura de novos IES e cursos e seu funcionamento continuado. O Brasil é um dos poucos países no mundo que neste sistema regulatório faz uso intenso de indicadores quantitativos, gerados a partir do dados do Censo (como o número de Doutores e Mestres no corpo docente e indicadores de infraestrutura) e o ENADE, o exame padronizado aplicado a estudantes concluindo seu curso. Há visitas in loco também (necessariamente para novos IES e cursos), mas o indicador quantitativo chamado CPC é o mais importante para o re-credenciamento de cursos existentes.

ENADE, valor agregado e o IDD

O CPC é um indicador composto com o objetivo de quantificar a “qualidade” de um curso no ensino superior. Veja seus componentes:

Fonte: Camila Ikuta, doi.org/10.18222/eae.v27i66.4039

A maior parte do CPC deriva do ENADE e o chamado IDD, o indicador de valor agregado que entra com peso de 35%. Valor agregado neste contexto busca “controlar” o desempenho dos egressos de um curso no ENADE pela aptidão acadêmica dos seus ingressantes. Na prática é uma tentativa de dar o devido valor no CPC para cursos com baixa seletividade. Afinal, cursos com ingressantes com baixas notas no ENEM tendem a ter desempenho baixo no ENADE, mas alguns cursos agregam mais valor (no sentido de conseguir elevar a nota ENADE dos egressos) do que outros e devem ser reconhecidos por isso.

O modelo do INEP para “controlar” o desempenho dos egressos de um curso pela aptidão acadêmica dos seus ingressantes usa a nota do ENEM. Como esquematizado na figura abaixo, verifique-se que a nota na ENADE do ingressante é aproximadamente proporcional a sua nota no ENEM. Mas alguns cursos (o dos egressos azuis na figura) conseguem elevar a nota da ENADE mais que outros (o dos egressos laranjas), apesar de ter uma turma com notas no ENEM pior.

Esquerda: dados simulados, ilustrando como as notas no ENADE de estudantes podem ser associadas com sua nota ENEM. Curso 1 (azul) agrega mais valor que os outros cursos. Direita: notas de egressos de dois cursos reais. O “intercept” é a medida correta do valor agregado, mas o INEP usa a média dos resíduos (IDDic)

O erro do INEP

Acontece que desde 2014, quando o INEP mudou sua metodologia de cálculo do IDD, este indicador está sendo calculado errado. Um primeira indicação que algo está muito errado é que o indicador tem o comportamento de um gerador de números aleatórios. Na figura abaixo, mostro os IDD dos cursos de Engenharia Civil avaliados em 2019. Se o IDD é calculado segundo o método do INEP, somente cursos com um número da estudantes avaliados abaixo de 50 tem valores altos ou baixos. Todos os cursos com número alto de participantes no ENADE são avaliados como medianos. Este é uma primeira indicação que o IDD como calculado pelo INEP em grande parte é aleatório, sem relação com a qualidade do curso.

Ao investigar, descobri que a razão deste comportamento é que o INEP faz um erro simples: ao invés de usar o intercepto para estimar o valor agregado usando o modelo estatístico visualizado no gráfico acima, usam a média do resíduos (IDDic, na figura acima). Isso é um erro que faz, nas palavras do ex-presidente do INEP Reynaldo Fernandes, o indicador ser “por construção um ruído aleatório”.

Se usar o método correto, há menos o comportamento típico de um “gerador de números aleatórios”.

Cada ponto corresponde a o IDD de um curso na área Engenharia Civil, calculado segundo o método do INEP (esquerda) ou segundo o método correto (direita). Repare a quantidade de pontos verdes (cursos com IDD satisfatório segundo o método INEP) com IDD insatisfatório (categoria 1 ou 2) quando calculado corretamente (direita).

Consequências

Para fins regulatórios o INEP transforma o CPC em 5 categorias. Sem muitas justificativas, alias, é dada a interpretação que as categorias 1 e 2 são “insatisfatórias” e 3-5 “satisfatórios”. Há um estudo interessante a se fazer sobre a (falta de) validação destes conceitos e a maneira que são calculados, mas a realidade administrativa atual é que cursos avaliados com conceito CPC 1 ou 2 podem receber uma visita in loco e são colocados em observação.

O IDD tem um peso de 35% no CPC e o erro do cálculo do INEP faz por exemplo 9 dos 215 cursos avaliados na área de Medicina “cair” de um conceito satisfatório para insatisfatório (veja quais são abaixo).

CursoSigla IESOrg AcadCat AcadCPC (INEP)CPC (faixa)CPC (corrigido)CPC (faixa corrigido)
18594UNESAUniversidadePrivada com fins lucrativos2.26131.6222
7414UNIGUniversidadePrivada sem fins lucrativos2.40431.8692
18605UNIGRANRIOUniversidadePrivada com fins lucrativos2.07931.6822
10289FMCFaculdadePrivada sem fins lucrativos2.34831.8512
15343UNITAUUniversidadePública Municipal2.17631.7232
49060UNINILTONLINSUniversidadePrivada sem fins lucrativos2.09331.8112
19206UNIMESUniversidadePrivada sem fins lucrativos2.34231.7452
69464UNIPLACUniversidadePrivada sem fins lucrativos2.04631.7742
60660UEAUniversidadePública Estadual1.95331.6152
Os nove cursos de Medicina avaliados em 2019 que receberam uma conceito CPC “satisfatório”, mas que seriam considerados insatisfatórios se o IDD fosse calculado corretamente.

Reação do INEP

Mostrei o preprint a dois ex-diretores do INEP, o Prof. Otaviano Helene e Prof. Reynaldo Fernandes (ambos meus colegas na USP). Deram feedback positivos que incorporei no texto e me disseram que foram convencidos do argumento principal do texto.

Procurado, os representantes do INEP disseram que não tem previsão de re-calcular o CPC para os anos 2014-2019. É interessante contemplar que segundo o INEP gerar um número para fins regulatórios é considerado finalidade em si mesmo, não sendo passível de correções.

Conclusão

O titulo do preprint é “A correct method to calculate the IDD value added indicator in the Brazillian higher education quality assurance framework”. Mas não estou afirmando que o método corrigido é necessariamente a melhor forma de criar um indicador para valor agregado. Na verdade, sou bastante cético em relação a possibilidade de criar indicadores “objetivos” ou quantitativos confiáveis e válidos a partir dos dados do ENADE. Não é a toa que o Brasil é o único país no mundo que organiza seu sistema de avaliação do ensino superior desta forma. É muito difícil criar um exame padronizado para egressos superior, sobretudo porque em comparação com etapas escolares anteriores a variedade de objetivos é muito grande.

Acredito também que este episódio mostra como falta no INEP uma cultura de validação das métricas que geram. É desmoralizante saber que um indicador de qualidade é calculado com um erro grosseiro por seis anos sem que algum ator interessado, como gestores de cursos universitários ou gestores do MEC, levantar algum tipo de dúvida. Na minha opinião, isso parece mostrar que os números do MEC, pelo menos neste caso, servem mais para gerar um espécie de objetividade raso e performático, sem que há interesse saber se há uma realidade por trás destes números.

Investigação sobre o envio de vídeo pelos alunos da disciplina “Libras” da USP

Resumo

Perguntamos aos alunos da disciplina Libras como gravaram seus exercícios em vídeo, como enviaram para a plataforma e quais eram as maiores dificuldades. Confirmamos a nossa hipótese que é essencial disponibilizar uma alternativa ao Youtube (embora que aproximadamente dois terços dos respondentes usa Youtube e diz não ter problema com isso). A ferramenta atual do Moodle que permite gravação e envio a partir do próprio browser precisa ser aprimorada. Uma outra sugestão é disponibilizar um local na USP com condições boas de gravar e enviar os vídeos.

(03/07/17: veja o painel que foi apresentado no 3o congresso de graduação da USP)

Apresentação

A disciplina Língua Brasileira de Sinais (FLL1024) é oferecida para os alunos das licenciaturas do FFLCH da USP na modalidade online. Os processos pedagógicos incluem videoaulas, leitura de textos, avaliações do tipo teste e envio de tarefas. Há 2 professores e 4 tutores mediando os processos. A parte online da disciplina é hospedado no Moodle da USP, o sistema E-Disciplinas, veja o ambiente de apoio ao oferecimento de 2017.1

Uma das atividades principais é a de “Produção em Libras”, onde os participantes devem gravar e enviar um vídeo curto de uma frase sinalizada em Libras. O envio de material audiovisual (vídeo em particular) é cada vez mais comum na Web em nossa volta, mas ainda continua sendo um desafio para instituições de ensino oferecer essa possibilidade com qualidade. Há vários desafios técnicos e pedagógicos, entre eles os relacionados com acesso à internet confiável, capacidade de guardar o volume de dados e resguardar a privacidade dos alunos.

Estamos interessados em investigar e amenizar as barreiras e dificuldades que nossos alunos enfrentem na hora de gravar e enviar seus vídeos. Como parte desta pesquisa aplicamos na terceira semana da disciplina uma pequena enquete com perguntas que visam responder as seguintes questões:

  • Todos os alunos têm acesso a um aparelho de gravação de vídeo?
  • Todos os alunos tem conseguem enviar seu vídeo usando a internet  de casa ou na USP?
  • Quais são as maiores barreiras técnicas e ou cognitivas de gravação e envio de vídeos e como podem ser amenizadas?
  • Os costumes, habilidades ou maneiras de interagir com tecnologias online dos alunos influenciam, ajudam ou interfiram  nos objetivos pedagógicos da disciplina?

Resultados

Vejam  alguns resultados preliminares. Mas antes de mais nada é preciso destacar uma grande ressalva: a amostra dos respondentes sofre um óbvio viés de seleção no sentido que é mais provável que os que responderam a enquete sejam os alunos em média mais ativos, com mais facilidade de usar a plataforma, que conseguiram vencer as primeiras barreiras e continuem participando na semana 3.

Abrimos a pesquisa domingo dia 10/04 e estes são resultados tabulados no dia 17/10. Responderam 143 alunos. O universo consiste de

  • 616 pessoas inscritos (isso inclui pendentes que acabaram não sendo matriculados)
  • 468 matriculados no Júpiter
  • 460 pessoas que acessaram  o ambiente pela menos uma vez nos últimos 30 dias
  • 356 pessoas que acessaram  o ambiente pela menos uma vez nos últimos 10 dias
  • 343 pessoas que enviaram o sumário do videoaula  da semana 1
  • 335 pessoas que enviaram um vídeo na semana 1
  • 257 pessoas que enviaram um vídeo na semana 3

O seja, a taxa de resposta com a enquete uma semana aberta é algo entre e 143/460 = 31% e 143/356 = 40%.

Dos 143 respondentes, somente 10 disseram que não conseguiram enviar um vídeo. É precário tirar conclusões de uma amostra tão pequena mas a metade mencionou “Sem acesso a um aparelho para gravar vídeo” ou “Sem acesso suficiente à internet” como razão técnica. “Estava sem tempo” era mencionada por 7 dos 10 e “Não queria me expor dessa maneira” por 4.

Quais são as condições de computação dos respondentes?

A grande maioria dos 143 respondentes tem acesso a um smartphone ou notebook:

e acessam a internet sobretudo de casa:

A grande maioria dos que conseguiram gravar e enviar um vídeo à plataforma (133) usaram um celular ou webcam para gravar:

 

Uma vez gravado um número quase igual enviaram o arquivo para a plataforma diretamente, ou subiram para Youtube e mandaram o link. Talvez houve uma ambiguidade na formulação da questão aqui: para enviar um vídeo hospedado no Youtube era recomendado criar um link no ambiente online, e é possível que alguns respondentes que usaram Youtube escolheram a opção “Usando os botões ‘link’ ou ‘mídia'”, que era para indicar a escolha por um método sem Youtube.

(atualização 18/04)

Certamente houve uma ambiguidade nesta questão. Acabo de analisar a forma que os vídeos foram enviados nas primeiras 3 semanas e temos que aproximadamente 2/3 dos alunos usam Youtube, 1/6 usam o sistema de gravação dentro do browser (Poodll) e 1/6 sobe um arquivo .mp4 que produziram de alguma forma.

Semana 1 Semana 2 Semana 3
poodll 68 47 35
upload 60 66 55
youtube 207 201 167

(atualização 03/07/2017)

No final de semestre contabilizamos a quantidade e tipo de envio para as 10 semanas do curso. Veja o resultado abaixo. A pequena melhoria no interface do Poodll na 6a semana surtiu um certo efeito, mas uma avaliação provisória do plugin mostra que ainda há muito trabalho a ser feito para que esta interface vira uma alternativa competitiva ao Youtube.

Barreiras e Preocupações

Perguntamos avaliar o nível de preocupação em relação a alguns aspectos do processo de gravação e envio de vídeos. É muito interessante perceber que quase metade dos respondentes relata um certo grau de anseio de se expor por meio de vídeo ou sinta algum grau de risco para sua privacidade. Este resultado justifica o investimento por parte da instituição na disponibilização de ferramentas de envio de vídeo que são seguros, fácil de usar e independentes do Youtube (onde o vídeo sempre está sujeito a algum tipo de vigilância e deve ficar semi-público para poder ser visto pelos tutores ou professor).

A melhoria que pode ser mais fácil implementado, melhorar os manuais e instruções são visto como menos necessário, mas ainda assim podem ajudar uma fração dos respondentes. Baseado nas outras respostas uma das intervenções mais eficazes poderia ser disponibilizar um espaço seguro na USP, talvez com equipamentos ou talvez somente com um ambiente controlado, onde alunos podem gravar tranquilamente seus vídeos.

Finalmente, destaco algumas contribuições que chamaram mais atenção

“Meu celular é extremamente precário e tive que preocupar mais com ele do que com o exercício em si. ”

“Ter um local, na universidade, para a gravação do vídeo para quem não tem acesso a câmeras ou internet!”

“Ter um primeiro encontro pessoal para as orientações.”

“O próprio moodle deveria fornecer essa ferramenta sem confundir e complicar”

“Gostaria de enviá-los diretamente para o moodle, sem ter de passar pelo youtube.”

“Enviar um vídeo pelo YouTube é relativamente simples, mas achar um local iluminado para gravar o vídeo foi (e está sendo) muito difícil. Conseguir achar um suporte físico para pôr o celular/câmera/webcam na posição ideal também causa problemas.”

Conclusão

Precisamos investir em

  • deixar a ferramenta que permite gravar e/ou enviar o vídeo diretamente a partir do Moodle (seja via note+webcam ou celular) mais fácil de usar;
  • preparar instruções e dicas práticas (suporte do celular, iluminação,  etc.)
  • pensar sobre a possibilidade de disponibilizar para gravação algum local controlado, com iluminação boa e com acesso bom à internet.

Acordo de compartilhamento de dados

Gestores de ambientes virtuais de aprendizagem ou de outros sistemas educacionais que mediam interações entre pessoas tem em suas mãos um base de dados extremamente interessante para fins de pesquisa. Mas, por motivos de proteção aos dados privados não podem compartilhar estes dados publicamente.

Uma abordagem é tentar de-identificar os dados, mas isto é difícil de fazer corretamente (não é suficiente tirar nome e outros identificadores óbvios, se é trivial re-identificar uma pessoa cruzando informação com por exemplo dados de matrículas).

Até conseguir recursos suficientes para liberar os dados publicamente de forma responsável (aguardo a publicação deste livro, que promete ser bem interessante) resta então liberar os dados com pesquisadores de confiança e trabalhar com um acordo de compartilhamento.

Fiz uma tentativa de um modelo para um acordo de compartilhmento. Solicito comentários (que podem ser feito no próprio documento ou neste post)

Referências

http://ptac.ed.gov/sites/default/files/data-sharing-agreement-checklist.pdf (EUA)

http://ico.org.uk/for_organisations/data_protection/topic_guides/data_sharing (Reino Unido)

 

XX Simpósio Nacional de Ensino de Física

Entre os dias 21 e 25 de janeiro de 2013, o Grupo ATP participou do XX Simpósio Nacional de Ensino de Física (XX SNEF). Decorridos mais de 40 anos desde o I SNEF, foi com prazer que o Instituto de Física da USP recebeu o evento intitulado “O ensino de Física nos últimos 40 anos: balanço, desafios e perspectivas”.

A participação do Grupo ATP neste evento histórico envolveu o desenvolvimento da Oficina – Moodle: Ferramentas avançadas de ensino-aprendizagem – e da comunicação Oral sobre o artigo – Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010.

Moodle: Ferramentas avançadas de ensino-aprendizagem

A oficina ocorreu nos dias 22 e 24 de janeiro, teve duração de  horas e contou com a participação de 19 pessoas. Dentre elas professores, técnicos de informática e alunos de graduação de diferentes estados brasileiros.

Foi idealiza e desenvolvida com objetivo de possibilitar que seus participantes conheçam e investiguem os sistemas de avaliação da plataforma Moodle e de contribuir para que possam aprimorar o processo de aprendizagem por meio de um ambiente virtual desenvolvendo avaliações formativas que extrapolam a mera aplicação de testes automatizados. Para isso, as funcionalidades das ferramentas disponíveis foram exploradas a partir da tipologia de avaliação, considerando aspectos pedagógicos e tecnológicos.

Reunimos no Ambiente Virtual Moodle http://dev.atp.usp.br/stoa2/course/view.php?id=302 (acesse para conhecer!) o resultado deste estudo, assim como exemplos reais de atividades idealizadas e configuradas com diferentes objetivos. Desta forma, foi possível potencializar as situações de discussão e construção individual e coletiva de conhecimentos sobre este ambiente. Os participantes conheceram e vivenciaram, como alunos, questionários com diferentes tipos de perguntas e comportamentos de questão; aprenderam a implementar ‘questionários’ formativos e avaliativos; r, conheceram métodos de avaliação avançadas (rubricas, guia de avaliação etc.).

Clique aqui, para acessar como visitante e conhecer o AVA da Oficina Moodle.

Clique aqui, para efetuar o download .mbz deste ambiente e investigar em seu Moodle as configurações e potencialidades de atividades que incorporam uma série de recursos e ferramentas que vão ampliando e melhorando significativamente as possibilidades, a integração multimídia e a flexibilidade temporal do processo de ensino-aprendizagem.

Análise do Funcionamento das Questões da Prova de Ciências da Natureza do Enem 2009 e 2010

A comunicação oral ocorreu no dia 23 de Janeiro numa sessão coordenada pelo Prof. Jonny Nelson Teixeira. Envolveu a apresentação da investigação com métodos quantitativos sobre o funcionamento das questões da prova de Ciências da Natureza do Exame Nacional do Ensino Médio, o ENEM, de 2009 e 2010, a partir dos micro-dados disponibilizados pelo INEP. Usamos vários indicadores e visualizações gráficas para buscar indícios de um eventual mau funcionamento de questões. Usamos estatísticas descritivas da teoria clássica de testes (índice de dificuldade, o índice de discriminação e a correlação ponto bisserial), as curvas características empíricas de item (a probabilidade de acerto do item em função do número total de acertos) e ajustes ao modelo de dois parâmetros da teoria da resposta ao item (TRI). Estes indicadores e as visualizações gráficas das curvas características apontam para várias questões com indícios de mau funcionamento. Encontramos questões nas quais a probabilidade de acerto independe do nível de proficiência. Para algumas questões a probabilidade de acerto é até maior para indivíduos de menor proficiência, o contrário do esperado para uma boa questão. As questões assim identificadas devem ser agora submetidas a outras metodologias de investigação para entender a razão do seu mau funcionamento.

Clique aqui, para efetuar download do artigo completo.

Clique aqui, para efetuar download da apresentação da comunicação oral.

18° CIAED Congresso Internacional ABED de Educação a Distância

O 18° CIAED Congresso Internacional ABED de Educação a Distância “Histórias, Analíticas e Pensamento “Aberto” – Guias para o Futuro da EAD” será realizado em São Luiz – Maranhão, nas dependências da UFMA – Universidade Federal do Maranhão abrindo espaço para que pesquisadores, educadores e dirigentes organizacionais possam apresentar seus Trabalhos Científicos baseados em investigação científica; apresentar relatos de Experiências Inovadoras; participar de mesas-redondas com especialistas do Brasil e de outros países; realizar palestras; inserir-se em grupos de trabalho de diferentes linhas de atuação; e estabelecer contatos profissionais.

Cronograma
– Período para encaminhamento dos trabalhos: 28 de novembro de 2011 a 30 de abril de 2012;
– Período de avaliação dos trabalhos: 1° de maio a 25 de maio de 2012;
– Divulgação dos resultados no site e comunicação – 30 de maio de 2012;
– Envio da versão para o inglês do Tc aprovado – 27 de julho de 2012;
– Notificações de aceitação serão enviadas pelo sistema automaticamente;
– Apresentação no 18° CIAED de 23 a 26 de setembro de 2012.

Informações
Sede da ABED:
Rua Vergueiro, 875 12° andar
CEP 01504-001 – São Paulo – SP
Telefone: 11 3275.3561 – Fax: 11 3275.3724
E-mails
Trabalhos Científicos: papers@abed.org.br
Informações sobre o evento: congresso@abed.org.br
Página da ABED: www2.abed.org.br
Página do evento: www.abed.org.br/congresso2012