Avaliação educacional (1): o que estamos medindo?

José Aparecido

24 Fev 2014 05:36

            De tempos em tempos, a temática da avaliação educacional, e suas conseqüências, voltam a permear, intensa e extensamente, o cenário educacional brasileiro. Exemplos disso são a prova Brasil, os exames vestibulares, que focalizam, essencialmente, o conteúdo aprendido, bem como, a avaliação da excelência do ensino, que, por sua vez, focaliza a qualidade do que é ensinado. Os resultados destas avaliações têm importantes implicações sociais, econômicas e educacionais para a qualificação do capital humano da nação. No caso da Prova Brasil, seus principais indicadores revelam que, a maioria dos alunos das 4ª e 8ª séries, não consegue desempenhar simples operações matemáticas, nem contextualizar textos curtos e rudimentares. No caso dos exames vestibulares, discute-se se os mesmos devem focar os processos de raciocínio, pensamento abstrato ou capacidade de lidar com a complexidade, ou, apenas, conhecimento adquirido das diferentes disciplinas curriculares, ou seja, discute-se se tais avaliações devem centrar-se na inteligência fluída ou na inteligência cristalizada, respectivamente. No caso da avaliação da excelência do ensino, procura-se analisar o desempenho dos professores em todas as suas facetas, e quais de seus atributos podem ser melhorados para enriquecer o processo de ensino-aprendizagem. Entretanto, independente de qual tipo de avaliação seja empregada, a preocupação é com o valor diagnóstico, e preditivo, de cada uma delas. Adicionalmente, se as mesmas são capazes de aferir habilidades e conhecimentos importantes para vida adulta. Assim considerando, acho importante analisar dois componentes fundamentais do processo de avaliação educacional: (1) o que estamos de fato medindo e (2) quais as dimensões da excelência do ensino que devem ser mensuradas. Consideremos o primeiro.

            É a Psicometria o domínio de estudos da avaliação psicológica e educacional. Esta, utilizando instrumentos padronizados, compostos de um conjunto de tarefas ou atributos administrados sob condições controladas, avalia o conhecimento, as habilidades, os desempenhos e outras características psicológicas dos indivíduos ou fenômenos. Sendo as avaliações, psicológica e educacional, campos dos mais amplos da psicologia aplicada, representam, talvez, contribuições, das mais importantes, para a nossa sociedade. Testes, escalas psicológicas e outras formas de avaliação são freqüentemente utilizados em quase todos os processos envolvidos na avaliação humana. Praticamente, todas as nossas atividades são avaliadas por algum tipo de instrumento de medida (testes, escalas, inventários, questionários, provas, exames, etc.). Somos avaliados nas escolas para monitorar o nosso desempenho e em exames, os mais diversos, para nos habilitarmos ao exercício de nossas profissões. Somos avaliados com o propósito de verificar alguma dificuldade de aprendizagem e, também, para sermos, eventualmente, premiados ou promovidos no trabalho, em função de nossos desempenhos, ou mesmo, para corrigirmos eventuais distorções em nossas funções. Enfim, somos avaliados em tudo que desempenhamos, ao longo de toda a vida.

            Avaliações educacionais envolvem e afetam indivíduos, instituições e sociedades como um todo. Fruto desta importância, avaliadores tentam mensurar, o mais rigorosamente possível, tais desempenhos. Entretanto, alguns desses instrumentos têm tornado-se controvertidos pelo fato de muitas pessoas suspeitarem que eles sejam enviesados (vejam, por exemplo, a controvérsia acerca dos testes de inteligência, da progressão continuada e dos exames vestibulares, entre outros). A despeito disso, todas as avaliações devem compartilhar um conjunto de propriedades, ou características, comuns, tais como: devem ser fidedignas, válidas, padronizadas e livres de vieses. E não há, certamente, outro aspecto do campo da psicologia que apresentou tamanho impacto na vida dos indivíduos.

            Uma avaliação consiste numa situação experimental e padronizada, que serve de estímulo a um dado comportamento ou constructo, que se pretende capturar. Usualmente, este é pontuado mediante uma comparação estatística com comportamentos similares de outros indivíduos, colocados, estes, na mesma situação. A partir dessa comparação, podem-se classificar, ou ordenar, os indivíduos (ou mesmo uma escola, uma universidade, um centro de pesquisa ou uma unidade de ensino) quantitativa e qualitativamente em função do constructo sendo mensurado. O teste desempenha um tipo de mensuração, mas, diferentemente do que ocorre com as medidas físicas, tais como, comprimento e peso, há, em relação ao mesmo, uma confusão considerável sobre “o quê”, de fato, o teste mede e “quão bem” ele faz isso. Um problema particular reside no fato de que, aquilo que está sendo mensurado não é um objeto físico, e, sim, uma variável/constructo interveniente, ou uma entidade hipotética. Por exemplo, ao aferirmos um teste, para avaliação da qualidade e eficiência do ensino, nós não podemos comparar diretamente o escore de um indivíduo, como o professor avaliado pelo aluno, por exemplo, no teste, com o seu desempenho real ou verdadeiro. Estamos restritos em verificar como os escores dos testes diferenciam professores eficientes dos não-eficientes, em alguma dimensão subjacente ao processo de ensino-aprendizagem. Em outras palavras, de acordo com algumas dimensões, sejam estas, componentes ou fatores que compõem o instrumento de avaliação, sobre como os professores eficientes se comportariam. A avaliação de constructos iguais à qualidade do ensino, eficiência do professor, desempenho acadêmico, inteligência, ou mesmo, da liderança, é certamente limitada pela clareza com que somos hábeis em definir o significado particular desses constructos, e isso tem se tornado um problema particular para os instrumentos que visam avaliar as dimensões ou fatores que os compõem. Assim, a rigor, devemos, primeiramente, estabelecer, conhecer e definir com clareza as dimensões subjacentes ao constructo que pretendemos mensurar, ou avaliar. Sem essa condição fundamental, qualquer instrumento se torna inócuo e não deve ser levado a sério.

            Todos os instrumentos de medida devem possuir certas propriedades metrológicas. Estas, em essência, são similares àquelas requeridas em outros, utilizados para fazer mensurações em diferentes domínios do saber. Entretanto, tais instrumentos são iguais a outros de qualquer outra ciência, no sentido de que, em ambos se fazem observações baseadas numa amostra pequena, mas, cuidadosamente, escolhida, do comportamento do indivíduo. Sob este aspecto, o avaliador procede como um químico que testa o teor carbônico de um composto, a partir de uma pequena amostra, com a diferença de que, a amostra do avaliador consiste numa série de comportamentos que se manifestam nas respostas dos indivíduos. O valor prognóstico, ou diagnóstico, de um instrumento depende do grau com que ele serve como indicador a respeito do comportamento futuro do indivíduo. Trata-se, portanto, de fazer generalizações sobre o comportamento futuro, a partir de resultados empíricos, obtidos numa pequena amostra, tal como se faz em outras ciências. Deve-se notar, entretanto, que os itens de um instrumento não precisam assemelhar-se, estritamente, ao comportamento real, mas, que haja, apenas, uma correspondência empírica entre ambos.

            Finalmente, é importante ficar claro que este processo de avaliação tem três elementos essenciais. Primeiro, as medições nunca são dos objetos ou pessoas, mas, sim, das propriedades, atributos e características dos objetos, como, por exemplo, altura, largura ou espessura de uma mesa, entre outros, ou das pessoas, como, por exemplo, inteligência, liderança, desempenho acadêmico, dor e auto-estima, entre outros. Segundo, as mensurações carregam informações sobre a quantidade das características ou dos atributos possuídos por um objeto ou pessoa. Terceiro, essencialmente, a medida pode ser definida como um processo de codificação, destas características ou atributos de objetos ou pessoas, tais como, traços, estados, atitudes, interesses, valores, habilidades, etc, que estão sendo mensurados, ou avaliados, naquele momento.