Índices e Parâmetros do INEP no KaptureAll EasyTest na Avaliação de Alunos e Provas

KaptureAll EasyTest calcula parâmetros e índices para analise do desempenho de alunos e da confiabilidade de provas.Os alunos das escolas de todo o país participam do SAEB. O Kaptureall EasyTest é uma ferramenta para facilitar a analise dos dados.

Kaptureall EasyTest uma ferramenta para correção de provas e analise que prepara para o SAEB. Na foto ilustração dos alunos participando de uma prova.O INEP, por meio de suas políticas de apoio ao desenvolvimento a educação, cria políticas para a melhoria do ensino. A Base Nacional Comum Curricular (BNCC),  define o conjunto de aprendizagens essenciais que todos os alunos devem desenvolver durante a Educação Básica. O KaptureAll EasyTest é uma ferramenta que atende a plataforma do INEP para avaliação do desempenho dos alunos e da confiabilidade das provas e preparação para o SAEB.

Para uma avaliação de alunos em larga escala, lança-se mão de instrumentos de medidas.

Alunos participando de uma prova de avaliação, recebendo assistência do professor.

Alunos participando de uma provas. O KaptureAll EasyTest corrige provas pelos processos tradicionais (TCT) e pela TRI

Os resultados dos testes de desempenho das avaliações de larga escala são produzidos mediante análises estatísticas baseadas nas respostas dos estudantes aos itens, nomenclatura utilizada no documento para questões ou itens como são referidas. Os resultados são divulgados em termos de número e percentual de acertos dos estudantes, mediante análises e cálculos baseados na Teoria Clássica dos Testes (TCT). Posteriormente, incorporou-se às análises a Teoria de Resposta ao Item (TRI), que se baseia em modelos matemáticos cujo pressuposto é a probabilidade de resposta no teste em função da sua proficiência e dos parâmetros dos itens (questões).

Alguns  itens calculados com base tanto na TCT quanto na TRI são usados  em análises pedagógicas, na revelação de informações sobre o comportamento dos alunos.

A partir da TCT, são calculados os percentuais de escolha para cada possibilidade de resposta (inclusive respostas em branco e inválidas), um índice que reflete o quanto o item discrimina os estudantes de maior e menor desempenho, o percentual de acerto dos grupos de desempenho superior e inferior e o coeficiente bisserial de cada possibilidade de resposta (inclusive respostas em branco e inválidas).

O coeficiente bisserial é uma medida que associa o desempenho do aluno no item ao seu desempenho no teste. Um valor positivo dessa medida para o item indica que, quanto maior o desempenho de um dado grupo de estudantes, maior a porcentagem de acerto. Ao contrário, um valor negativo representa que os estudantes com alto desempenho não buscaram o gabarito, mas outras alternativas. Em relação ao valor do coeficiente de cada alternativa, essa medida indica a busca por cada uma delas. Assim, se o coeficiente bisserial de uma determinada alternativa for positivo, isso significa que estudantes com alto desempenho buscaram assinalá-la. Desse modo, espera-se que o gabarito tenha coeficiente bisserial positivo e os distratores tenham coeficiente bisserial negativo.

Por meio da análise segundo a TCT, podem-se apresentar os coeficientes estatísticos clássicos do item, tal como exemplificado na Tabela 1:

  • GAB – indica o gabarito do item (A, no exemplo da tabela).
  • DIF Índice de Dificuldade  corresponde ao percentual de respostas corretas do item. Quanto maior, mais fácil o item.
  • DISCR Índice de Discriminação é a diferença entre a proporção de acertos dos participantes com maior escore (ACIM – 27% dos respondentes com pontuações mais altas) e a proporção de acertos daqueles com menor escore (ABAI – 27% dos respondentes com pontuações mais baixas).

Índice de Discriminação

KaptureAll EasyTest gera indicies de DISCR e Dificuldade para auxiliar na analise de resultados das provas

KaptureAll EasyTest gera indicie de DISCR para auxiliar na analise de resultados das questões das provas

  • BIS Coeficiente Bisserial  – medida de correlação entre o desempenho no teste e o desempenho no item.
  • Proporções de Resposta – indicam os percentuais de escolha por opção de resposta.

As informações relativas às respostas em branco são designadas com “ ”, enquanto as relativas às respostas inválidas são designadas com “.”.

  • Coeficientes Bisseriais – coeficientes das correlações bisseriais entre cada opção de resposta e o escore no teste. Esses coeficientes devem ser positivos para a opção correta (respostas do gabarito) e, desejavelmente, negativos para as demais (distratores). As informações relativas às respostas em branco são designadas com “ ”, enquanto as relativas às respostas inválidas são designadas com “.”.

Para entrar em contato e adquirir o mais completo produto para avaliação de alunos, escolas e redes educacionais, click aqui.

TRI Teoria da Resposta ao Item

Quanto à TRI, no ENEM e no SAEB se usa um modelo que fornece três parâmetros para os itens utilizados nos testes:

  • Parâmetro de discriminação do item que reflete a capacidade de discriminar estudantes que dominam determinadas habilidades daqueles que ainda não as dominam (parâmetro a).
  • Parâmetro de dificuldade do item (parâmetro b).
  • Parâmetro que reflete a probabilidade de um estudante de baixa proficiência acertar o item (parâmetro c).

Com base nesses três parâmetros, é construída, para cada item, uma curva denominada curva característica do item (CCI), representada no Gráfico 1:

Assim, o parâmetro a determina a inclinação da curva: quanto maior a inclinação, maior a discriminação entre os respondentes que dominam a habilidade em questão e os que não dominam. O parâmetro b determina o posicionamento da curva no eixo x: quanto mais a curva se desloca para a direita, mais difícil é considerado o item. Já o parâmetro c determina o posicionamento da curva no eixo y: quanto mais alto o ponto de partida da curva, maior a probabilidade de acerto de um estudante de baixa proficiência.

A correção de provas pelo método da TRI, além dos resultados, gera três parâmetros: a, b, c. Toda essa análise tem por base a TCT, todavia, nesse parágrafo, demonstramos o porquê da TRI.

Esses parâmetros são gerados para cada item da prova. Dizem respeito a:

  • Parâmetros
  • Parâmetro a: Parâmetro da discriminação

O parâmetro a mostra quão discriminatória é o item. Um item que obtenha um valor do parâmetro a alto significa que os alunos com um grau de conhecimento suficiente para responder o item (o grau de conhecimento necessário dependerá do parâmetro b, explicado em seguida) têm alta probabilidade de acertá-la, enquanto aqueles com grau de conhecimento inferior têm baixa probabilidade.

Um item com o parâmetro a baixo não se mostra muito discriminatória. Um possível motivo seria item fácil demais, de modo que até os alunos com menor conhecimento têm alta probabilidade de acertá-la. Analogamente, poderíamos ter um item difícil demais. Outro exemplo de item com parâmetro a baixo é aquele que não tem concordância grande com o conhecimento do aluno. A probabilidade de acertar o item não varia muito de acordo com o grau de conhecimento do aluno.

De acordo com (1) (2) classificação do item de acordo com o parâmetro a:

KaptureAll EasyTest gera índices e parâmetros para analise de resultados de prova de acordo com a plataforma o INEP.

KaptureAll EasyTest gera índices e parâmetros para analise das questões das provas de acordo com a plataforma o INEP..

  • Um item cuja avaliação mostre o parâmetro b alto significa que o item foi considerado muito difícil. Valores baixos desse parâmetro caracterizam itens fáceis.Parâmetro b: Parâmetro da dificuldade
  • Parâmetro c: Parâmetro do acaso

Esse parâmetro mostra a probabilidade de acerto do item ao acaso, i.e., pelo “chute” do candidato.

Parâmetros de análise de prova:

  • Fórmula de Kuder-Richardson ou KR-20

Coeficiente KR-20 mede confiabilidade geral de uma prova. Informa se o exame consegue discriminar bem os alunos que aprenderam o conteúdo daqueles que não conseguiram. O KR-20 varia entre 0,0 e +1,0, mas pode tomar valores abaixo de 0.0 quando o tamanho da amostra é pequeno. Quanto mais próximo o KR-20 é de +1.0, mais confiável é o teste, pois os itens conseguem discriminar consistentemente os respondentes com níveis de conhecimento maior e menor. Um KR-20 igual a 0.0 significa que os itens não conseguiram discriminar nada. Imagine um teste no qual todos os alunos acertaram todos os itens corretamente. O teste não conseguiu discriminar os alunos, e o valor de 0,0 para o KR-20 faz sentido. Consistência interna de um teste ou um questionário é a extensão em que os itens que o compõem medem o mesmo conceito ou construto (Indicadores de Aprendizagem ou Habilidade).

Por exemplo, se itens foram projetados para medir o mesmo indicador, o respondente deveria ter coerência nas respostas. A consistência interna é, portanto, uma importante estimativa de confiabilidade, sendo específica para testes e questionários. A fórmula 20 de Kuder-Richardson (KR-20) é uma medida interna de consistência para medições com escolhas dicotômicas, desenvolvida por Kuder e Richardson, em 1937. Valores dessa fórmula variam de 0 a 1, sendo que coeficientes altos indicam testes homogêneos (o que é desejável).

O cálculo do KR-20 é feito através da seguinte fórmula:

Onde k indica o número de itens do teste, Pi é a porcentagem de acertos do item i, e sy é como definido anteriormente.

O coeficiente KR20 é uma medida de confiabilidade em discriminar os alunos que tem proficiência nos assuntos da prova daqueles que não tem.

Consideram-se:

Classificação de uma Prova de acordo com o KR20.

 

O KR 20 é gerado pelo KaptureAll EasyTest automaticamente para analise das provas

O KR 20 é gerado pelo KaptureAll EasyTest automaticamente para analise das questões das provas

  • A fórmula de Spearman-Brown  calcula o quanto a confiabilidade do teste mudaria se houvesse um incremento na quantidade de questões. Essa fórmula é dada por:

Os coeficientes gerados nessa fórmula mostram o número de itens que devem ser acrescidos à prova para aumentarmos sua confiabilidade.

Análise Gráfica do Item – AGI

AGI é apresenta pela plataforma do KaptureAll para cada questão (item) da prova. Mostra a proporção de respostas dadas em cada opção de um determinada questão (item) em relação ao número de acertos escore bruto total dos alunos que participarão do teste:

  • No eixo horizontal, as faixas de notas, ou número de acertos, em ordem crescente, obtidas pelos respondentes do teste;
  • Uma linha para representar cada alternativa e de respostas na questão/item.

Cada linha de cada opção de resposta é apresentada em cores diferentes.

Espera-se que os percentuais de escolhas das linhas correspondentes às alternativas erradas diminuam conforme o escore total vai aumentando e que o percentual de escolha da linha correspondente à alternativa correta aumente conforme o escore total aumente.

Ao analisarmos um item considerando sua AGI, podemos verificar pedagogicamente o porquê de uma opção errada atrair indivíduos com bom desempenho, proporcionando, assim, um melhor entendimento sobre o processo de ensino-aprendizagem do estudante.

De forma automática, o KaptureAll EasyTest, um produto feito para a realidade da educação moderna, facilita a vida daqueles que desejam implementar analise de turmas, escolas e redes educacionais. Entre em contato conosco para saber mais.