Índices e Parâmetros do INEP no KaptureAll EasyTest na Avaliação de Alunos e Provas

KaptureAll EasyTest calcula parâmetros e índices para analise do desempenho de alunos e da confiabilidade de provas.Os alunos das escolas de todo o país participam do SAEB. O Kaptureall EasyTest é uma ferramenta para facilitar a analise dos dados.

Kaptureall EasyTest uma ferramenta para avaliação de resultados para preparação do SAEB e melhoaria do IDEB.

O INEP, por meio de suas políticas de apoio ao desenvolvimento a educação, cria políticas para a melhoria do ensino. A Base Nacional Comum Curricular (BNCC),  define o conjunto de aprendizagens essenciais que todos os alunos devem desenvolver durante a Educação Básica. O KaptureAll EasyTest é uma ferramenta que atende a plataforma do INEP para avaliação do desempenho dos alunos e da confiabilidade das provas e preparação para o SAEB.

Para uma avaliação de alunos em larga escala, lança-se mão de instrumentos de medidas.

Alunos fazendo provas que serão avaliadas com KaptureAll EasyTest

Os resultados dos testes de desempenho das avaliações de larga escala são produzidos mediante análises estatísticas baseadas nas respostas dos estudantes aos itens, nomenclatura utilizada no documento para questões ou itens como são referidas. Os resultados são divulgados em termos de número e percentual de acertos dos estudantes, mediante análises e cálculos baseados na Teoria Clássica dos Testes (TCT). Posteriormente, incorporou-se às análises a Teoria de Resposta ao Item (TRI), que se baseia em modelos matemáticos cujo pressuposto é a probabilidade de resposta no teste em função da sua proficiência e dos parâmetros dos itens (questões).

Alguns  itens calculados com base tanto na TCT quanto na TRI são usados  em análises pedagógicas, na revelação de informações sobre o comportamento dos alunos.

A partir da TCT, são calculados os percentuais de escolha para cada possibilidade de resposta (inclusive respostas em branco e inválidas), um índice que reflete o quanto o item discrimina os estudantes de maior e menor desempenho, o percentual de acerto dos grupos de desempenho superior e inferior e o coeficiente bisserial de cada possibilidade de resposta (inclusive respostas em branco e inválidas).

O coeficiente bisserial é uma medida que associa o desempenho do aluno no item ao seu desempenho no teste. Um valor positivo dessa medida para o item indica que, quanto maior o desempenho de um dado grupo de estudantes, maior a porcentagem de acerto. Ao contrário, um valor negativo representa que os estudantes com alto desempenho não buscaram o gabarito, mas outras alternativas. Em relação ao valor do coeficiente de cada alternativa, essa medida indica a busca por cada uma delas. Assim, se o coeficiente bisserial de uma determinada alternativa for positivo, isso significa que estudantes com alto desempenho buscaram assinalá-la. Desse modo, espera-se que o gabarito tenha coeficiente bisserial positivo e os distratores tenham coeficiente bisserial negativo.

Por meio da análise segundo a TCT, podem-se apresentar os coeficientes estatísticos clássicos do item, tal como exemplificado na Tabela 1:

  • GAB – indica o gabarito do item (A, no exemplo da tabela).
  • DIF Índice de Dificuldade  corresponde ao percentual de respostas corretas do item. Quanto maior, mais fácil o item.
  • DISCR Índice de Discriminação é a diferença entre a proporção de acertos dos participantes com maior escore (ACIM – 27% dos respondentes com pontuações mais altas) e a proporção de acertos daqueles com menor escore (ABAI – 27% dos respondentes com pontuações mais baixas).

Índice de Discriminação

Índice de Discriminação

Índice de Discriminação

  • BIS Coeficiente Bisserial  – medida de correlação entre o desempenho no teste e o desempenho no item.
  • Proporções de Resposta – indicam os percentuais de escolha por opção de resposta.

As informações relativas às respostas em branco são designadas com “ ”, enquanto as relativas às respostas inválidas são designadas com “.”.

  • Coeficientes Bisseriais – coeficientes das correlações bisseriais entre cada opção de resposta e o escore no teste. Esses coeficientes devem ser positivos para a opção correta (respostas do gabarito) e, desejavelmente, negativos para as demais (distratores). As informações relativas às respostas em branco são designadas com “ ”, enquanto as relativas às respostas inválidas são designadas com “.”.

Para entrar em contato e adquirir o mais completo produto para avaliação de alunos, escolas e redes educacionais, click aqui.

TRI Teoria da Resposta ao Item

Quanto à TRI, no ENEM e no SAEB se usa um modelo que fornece três parâmetros para os itens utilizados nos testes:

  • Parâmetro de discriminação do item que reflete a capacidade de discriminar estudantes que dominam determinadas habilidades daqueles que ainda não as dominam (parâmetro a).
  • Parâmetro de dificuldade do item (parâmetro b).
  • Parâmetro que reflete a probabilidade de um estudante de baixa proficiência acertar o item (parâmetro c).

Com base nesses três parâmetros, é construída, para cada item, uma curva denominada curva característica do item (CCI), representada abaixo:

CCI Curva Característica do Item

CCI Curva Característica do Item emitida        para cada Item da prova

O parâmetro a determina a inclinação da curva: quanto maior a inclinação, maior a discriminação entre os respondentes que dominam a habilidade em questão e os que não dominam. O parâmetro b determina o posicionamento da curva no eixo x: quanto mais a curva se desloca para a direita, mais difícil é considerado o item. Já o parâmetro c determina o posicionamento da curva no eixo y: quanto mais alto o ponto de partida da curva, maior a probabilidade de acerto de um estudante de baixa proficiência.

A correção de provas pelo método da TRI, além dos resultados, gera três parâmetros: a, b, c. Toda essa análise tem por base a TCT, todavia, nesse parágrafo, demonstramos o porquê da TRI.

Esses parâmetros são gerados para cada item da prova. Dizem respeito a:

  • Parâmetro a: Parâmetro da discriminação

O parâmetro a mostra quão discriminatória é o item. Um item que obtenha um valor do parâmetro a alto significa que os alunos com um grau de conhecimento suficiente para responder o item (o grau de conhecimento necessário dependerá do parâmetro b, explicado em seguida) têm alta probabilidade de acertá-la, enquanto aqueles com grau de conhecimento inferior têm baixa probabilidade.

Um item com o parâmetro a baixo não se mostra muito discriminatória. Um possível motivo seria item fácil demais, de modo que até os alunos com menor conhecimento têm alta probabilidade de acertá-la. Analogamente, poderíamos ter um item difícil demais. Outro exemplo de item com parâmetro a baixo é aquele que não tem concordância grande com o conhecimento do aluno. A probabilidade de acertar o item não varia muito de acordo com o grau de conhecimento do aluno.

De acordo com (1) (2) classificação do item de acordo com o parâmetro a:

  • Um item cuja avaliação mostre o parâmetro b alto significa que o item foi considerado muito difícil. Valores baixos desse parâmetro caracterizam itens fáceis.Parâmetro b: Parâmetro da dificuldade
  • Parâmetro c: Parâmetro do acaso

Esse parâmetro mostra a probabilidade de acerto do item ao acaso, i.e., pelo “chute” do candidato.

  • Fórmula de Kuder-Richardson ou KR-20

Coeficiente KR-20 é calculado pela nossa plataforma e mede confiabilidade geral de uma prova. Informa se o exame consegue discriminar bem os alunos que aprenderam o conteúdo daqueles que não conseguiram. O KR-20 varia entre 0,0 e +1,0, mas pode tomar valores abaixo de 0.0 quando o tamanho da amostra é pequeno. Quanto mais próximo o KR-20 é de +1.0, mais confiável é o teste, pois os itens conseguem discriminar consistentemente os respondentes com níveis de conhecimento maior e menor. Um KR-20 igual a 0.0 significa que os itens não conseguiram discriminar nada. Imagine um teste no qual todos os alunos acertaram todos os itens corretamente. O teste não conseguiu discriminar os alunos, e o valor de 0,0 para o KR-20 faz sentido. Consistência interna de um teste ou um questionário é a extensão em que os itens que o compõem medem o mesmo conceito ou construto (Indicadores de Aprendizagem ou Habilidade).

Por exemplo, se itens foram projetados para medir o mesmo indicador, o respondente deveria ter coerência nas respostas. A consistência interna é, portanto, uma importante estimativa de confiabilidade, sendo específica para testes e questionários. A fórmula 20 de Kuder-Richardson (KR-20) é uma medida interna de consistência para medições com escolhas dicotômicas, desenvolvida por Kuder e Richardson, em 1937. Valores dessa fórmula variam de 0 a 1, sendo que coeficientes altos indicam testes homogêneos (o que é desejável).

Classificação de uma Prova de acordo com o KR20. 

  • Classificação pelo KR-20

    Classificação da prova pelo KR-20

    A fórmula de Spearman-Brown  calcula o quanto a confiabilidade do teste mudaria se houvesse um incremento na quantidade de questões.

Os coeficientes gerados nessa fórmula mostram o número de itens que devem ser acrescidos à prova para aumentarmos sua confiabilidade.

Análise Gráfica do Item – AGI

AGI é apresenta pela plataforma do KaptureAll para cada questão (item) da prova. Mostra a proporção de respostas dadas em cada opção de um determinada questão (item) em relação ao número de acertos escore bruto total dos alunos que participarão do teste:

  • No eixo horizontal, as faixas de notas, ou número de acertos, em ordem crescente, obtidas pelos respondentes do teste;
  • Uma linha para representar cada alternativa e de respostas na questão/item.
AGI

AGI Analise Gráfica do Item

Cada opção de resposta é apresentada em uma cor na AGI.

Espera-se que os percentuais de escolhas das linhas correspondentes às alternativas erradas diminuam conforme o escore total vai aumentando e que o percentual de escolha da linha correspondente à alternativa correta aumente conforme o escore total aumente.

Ao analisarmos um item considerando sua AGI, podemos verificar pedagogicamente o porquê de uma opção errada atrair indivíduos com bom desempenho, proporcionando, assim, um melhor entendimento sobre o processo de ensino-aprendizagem do estudante.

Veja sobre AGI nos relatórios/serviços do KaptureAll, clicando aqui.

De forma automática, o KaptureAll EasyTest, um produto feito para a realidade da educação moderna, facilita a vida daqueles que desejam implementar analise de turmas, escolas e redes educacionais. Entre em contato conosco para saber mais.

Vídeo sobre avaliação de redes educacionais pelos requisitos do INEP

Secretaria Municipal de Educação da Cidade de Tremembé, SP. Caso real.

Secretaria Municipal de Educação da Cidade de Niterói, RJ