Você já leu aqui no Blog do QEdu que um dos principais objetivos para o desenvolvimento da Prova Brasil era ter um instrumento que demonstrasse se o direito à educação e ao aprendizado estão sendo garantidos. Para ter um instrumento poderoso como esse era preciso superar três grandes desafios:
- Perceber se os alunos de uma mesma escola e rede de ensino dominavam competências comuns, isto é, o básico que se espera de conhecimento de habilidades cognitivas, como português e matemática;
- Desenvolver um método que permitisse comparar os resultados da avaliação ao longo dos anos, pois só assim seria possível verificar a evolução do aprendizado e traçar metas;
- Instituir um método adequado de correção das provas que demonstrasse se de fato houve e qual o nível de aprendizado dos alunos.
A prova foi desenvolvida pensando esses três grandes desafios. Entenda como eles foram solucionados.
1- Matriz de Referência
O primeiro grande desafio da Prova Brasil foi elaborar uma matriz de referência das competências e habilidades que seriam exigidas dos alunos. Essa matriz se refere ao mínimo que se espera que o aluno tenha aprendido, no que diz respeito ao conhecimento cognitivo em português e matemática, em cada etapa escolar.
Por isso, a Prova Brasil testa os alunos nas competências de matemática e português. A avaliação é elaborada de forma que contemple todas as habilidades exigidas na matriz de referência. Durante a correção, é avaliado se o conjunto dos alunos de uma turma demonstraram conhecê-las.
Cabe ressaltar que a matriz não deve ser confundida com as propostas curriculares das redes ou com os projetos políticos pedagógicos das escolas, pois não englobam todo o currículo escolar. Para selecionar quais as competências e habilidades em Língua Portuguesa e Matemática que seriam avaliadas, o Inep baseou-se nos Parâmetros Curriculares Nacionais, nos currículos adotados pelas Secretarias Estaduais de Educação e por algumas redes municipais para as séries e disciplinas avaliadas, além de consultar os livros didáticos mais utilizados por professores das rede de ensino públicas e privadas.
Outra informação importante é que a Matriz de Referência é a mesma para todas as edições da Prova Brasil, possibilitando, junto com a escala SAEB, a comparação dos resultados em diferentes anos. E assim entra-se no segundo grande desafio da Prova Brasil.
2- Escala Saeb
Comentamos em outro post que o objetivo da Prova Brasil não é reprovar ou aprovar o aluno, mas medir o aprendizado para assim dizer se seu direito à educação está sendo garantido. O primeiro passo foi desenvolver uma escala onde fosse possível apontar qual o nível de aprendizado dos alunos. Semelhante a uma régua, a Escala Saeb é o instrumento onde se localiza o que o aluno aprendeu ou deixou de aprender.
É importante ressaltar que nesta escala não estão posicionados os descritores da matriz de referência, mas sim a descrição do nível que busca representar sua dificuldade, ou seja, aquilo que em cada faixa de pontuação o aluno provavelmente será capaz de dominar. Dessa maneira, uma habilidade pode ser exigida em vários níveis.
Além de revelar o conhecimento dos alunos, era preciso dizer se o que eles aprenderam é o adequado para a sua etapa escolar, ou seja, se dominam habilidades mínimas que lhe permitam avançar para uma próxima etapa. Este foi outro ponto extremamente importante que a Escala Saeb ajudou a solucionar.
A Escala Saeb determina quais são os itens mais fáceis e mais difíceis. Isto porque cada item da Prova Brasil possui uma nota estabelecida, uma vez que todas as questões são testadas anteriormente. Esta nota é dada de acordo com o nível de dificuldade percebido no teste, que é feito por um grupo de alunos sorteados pelo Inep e que não sabem que estão resolvendo questões da Prova Brasil.
Com a definição de uma escala, foi possível dizer a partir de qual ponto dela os alunos realmente aprenderam o que deveriam em uma disciplina em determina etapa escolar. Assim, quando os alunos respondem aos itens da Prova Brasil, a proficiência, isto é, o desempenho dos alunos nas provas de português e matemática, é posicionado nesta escala.
Como a matriz de referência de elaboração e a correção da prova é sempre a mesma, a escola também podem verificar a evolução do aprendizado ao longo dos anos. Além disso, diferentemente das provas que o professor aplica em sala de aula, a metodologia adotada na construção e aplicação dos testes da Prova Brasil é adequada para avaliar redes ou sistemas de ensino, e não alunos individualmente. Este foi o terceiro grande desafio da Prova Brasil.
3- Teoria da Resposta ao Item
Com o desafio de dizer se os alunos estavam aprendendo o que era considerado adequado, foi preciso colocar níveis de dificuldade na Prova Brasil, como você leu anteriormente. Assim, percebeu-se que não bastava apenas somar o número de acertos dos alunos, o cálculo da nota da prova precisava ser mais complexo para ser confiável. A solução foi utilizar a Teoria da Resposta ao Item (TRI).
Essa teoria não foi criada pelo Inep ou pelo Saeb; é uma teoria de testes ultilizada internacionalmente , servindo também para avaliações nos Estados Unidos e na Holanda, por exemplo. Utilizando a TRI, as notas não são mais calculadas pela soma dos acertos, mas levam em conta o nível de dificuldade das questões acertadas e a coerência dos acertos.
Com a TRI ainda é possível comparar os resultados ao longo dos anos, pois ela foi essencial para criar a escala de habilidades que os alunos desenvolveram. Assim podemos ter um diagnóstico da educação dos anos iniciais e finais das redes e escolas nas quais a Prova Brasil é realizada.
A TRI também ajudou a solucionar um outro problema: avaliar a escola e a rede de ensino e não o aluno. Como seu objetivo é verificar se o sistema de ensino está cumprindo seu papel de proporcionar o aprendizado, não fazia sentido avaliar os alunos inidividualmente. Por isso, o próprio modo como a prova é estruturada e respondida foi desenvolvido para possibilitar a avaliação do sistema e não do aluno.
Muita informação, não é mesmo? Cadastre-se no QEdu para receber conteúdos mais detalhados e navegar pelos dados da Prova Brasil.
