A IA na produção de textos pelos alunos: o papel do “feedback formativo”

Elaine Assolini

06 Dez 2024 13:36

 Rodrigo Abrantes da Silva

• Temos falado neste espaço sobre o uso pedagógico da Inteligência Artificial Generativa. Temos defendido ainda que algumas funcionalidades disponíveis nos ambientes da Web podem contribuir para uma aprendizagem mais dinâmica, construtiva e inclusiva. 

• A tecnologia digital é capaz de despertar o interesse, a curiosidade e a adesão dos nossos alunos aos desafios e propostas que lhes apresentamos no papel de professores-tutores. 

• Mas, isto demanda um modelo de ensino não linear, nem expositivo. Para termos uma relação produtiva com a tecnologia, superando os graves problemas enfrentados hoje pelas escolas em relação ao desinteresse e à falta de concentração dos estudantes, proponho o uso de novas metodologias no processo de ensino-aprendizagem, caso do “feedback formativo” mediado por computador.

• O texto a seguir, em forma de perguntas e respostas, contextualiza, de início, o conceito de “feedback formativo” e da revisão por pares, para depois tratar de sua aplicação em atividades de produção de textos com o auxílio da IA.

1 – Como se dá um “feedback formativo”?  

O feedback é considerado formativo quando ele ocorre durante o processo de aprendizagem, ou seja, quando o aluno tem a oportunidade de usá-lo para continuar aprendendo. Nesse sentido, destaco a importância da variável tempo. Se o feedback é dado apenas ao final de um ciclo de aprendizagem, ele não pode ser considerado formativo. 

Mas além do timing, o feedback formativo precisa oferecer informações que interpretem algum aspecto da aprendizagem do aluno e que possam ser apropriadas por ele. Isso pode ser feito por meio de visualizações de dados, pontuações ou comentários, mas o mais importante é que cada elemento do feedback ajude o aluno a se projetar no futuro e a entender o caminho que deve seguir para alcançar novos níveis de aprendizagem.

Outro aspecto essencial ao “feedback formativo”, é que ele não seja uma avaliação de certo ou errado, mas contenha observações e orientações para ajudar o aluno a realizar seus objetivos e desafios. A literatura sobre feedback para a aprendizagem é vasta e oferece diversas abordagens testadas e validadas. Por isso, é fundamental que educadores conheçam essas pesquisas para planejar ações fundamentadas e eficazes.

Por fim, sua característica mais desafiadora está na revisão entre pares, porque pressupõe que os alunos avaliem reciprocamente. Ainda existe muito ceticismo dentre os professores em relação à prática, muitos acreditam que os alunos não sejam capazes de fornecer feedback de qualidade, especialmente se ele for utilizado formalmente no processo de avaliação. 

No entanto, a literatura indica o contrário: quando o ambiente de aprendizagem está preparado e os alunos recebem orientações adequadas, eles são capazes de dar feedbacks tão úteis mutualmente quanto os especialistas. 

Além disso, a percepção de que o aluno está fazendo um trabalho que vai contar de verdade para o processo, ou seja, que não é apenas uma simulação ou exercício para o professor verificar, é algo que faz a diferença e funciona como fonte de estímulo e motivação, além de gerar senso de responsabilidade pelo outro – “preciso entregar essa revisão porque o meu colega a está esperando para poder continuar seu trabalho”.  

Portanto, temos aqui quatro propriedades essenciais para que o feedback seja formativo:

• Planejamento de tempo mínimo necessário ao processo;
• Devolutivas capazes de situar o aluno quanto à sua própria jornada de aprendizagem;
• Veto à lógica do certo/errado, pois não se trata aqui de medir desempenho em relação a um valor externo à aprendizagem, mas de orientar uma formação;
• Adoção da revisão por pares (alunos também dão feedbacks contínuos sobre os trabalhos dos colegas).  

2 – Por que introduzir a revisão por pares dentro do “feedback formativo”?

Há muitas variáveis que podem ser trabalhadas nesse processo e é importante que elas sejam desenvolvidas ao longo da experiência. Mas alerto, de início, que os alunos não vão aprender a desempenhar essa atividade se receberem apenas uma breve orientação do professor. Essa prática deve ter certa recorrência para que os estudantes a incorporem de fato. Daí a importância de haver uma programação mais elástica no tempo.

A prática gera inúmeros benefícios:

• O ato de dar feedback representa, por si só, uma oportunidade de aprendizagem, pois envolve o uso específico e contextualizado da linguagem escrita;
• Mas, quando o feedback da revisão por pares é incorporado ao processo formal de avaliação, o ambiente de aprendizagem se enriquece com a diversidade de perspectivas, tornando-se ainda mais formativo; 
• Esse recurso não gera custo adicional, já que aproveita a inteligência coletiva dos próprios alunos;
• Estudos demonstram que o feedback dos pares pode ser mais formativo do que o dos professores por duas razões principais: 

1. Ele oferece pontos de vista diferentes, captando detalhes que o professor pode não perceber; 

(b) os pares estão, muitas vezes, em uma posição mais adequada para entender as dificuldades e necessidades dos colegas, tornando o feedback mais eficaz.

• A literatura também aponta que o feedback entre pares, quando baseado em critérios bem elaborados de rubricas (parâmetros de abordagem indicados pelo professor), oferece oportunidades para metacognição e transferência de habilidades. 

Por exemplo, se o objetivo é desenvolver o pensamento crítico, o professor pode elaborar um critério de rubrica que estimule o aluno a refletir criticamente sobre um dado aspecto do trabalho. Ao revisar a produção de um colega, o aluno não só pensa sobre como o outro abordou o critério estabelecido, como também reflete sobre sua própria abordagem, o que favorece a transferência de habilidades para diferentes contextos.

A revisão por pares cria um sistema de aprendizagem e a sala de aula se transforma em uma comunidade de aprendizagem.

3 – O “feedback formativo”, com a revisão por pares, é aplicável em grupos numerosos? 

Inexiste um padrão que determine um limite de participantes no processo. Isto varia conforme o ambiente e os recursos tecnológicos disponíveis. O que importa é que o feedback seja planejado e o aluno receba informações significativas ao seu progresso enquanto ele está aprendendo. Também é importante que esse feedback contenha orientações sobre como e o que o aluno pode fazer para evoluir naquilo que está fazendo. 

4 - O que esta metodologia busca no processo de aprendizagem? 

Proponho que os mecanismos de feedback para a aprendizagem sejam utilizados como uma forma dos alunos se autorregularem em relação ao seu próprio processo de aprendizagem, adaptando-se às propostas e aos objetivos do curso.

Atualmente, fala-se muito sobre a necessidade de o aluno ser autônomo, ativo e protagonista de sua aprendizagem, bem como de sua capacidade de autorregulação. No entanto, esses conceitos muitas vezes são apresentados de forma vaga, sem um detalhamento claro de seu significado e, principalmente, sem orientações práticas sobre como desenvolvê-los em sala de aula. Acredito que o “feedback formativo entre pares” atenda a todos esses critérios, oferecendo uma abordagem prática e concreta para promover essas competências nos alunos.

Ao participar de processos de feedback entre pares, os alunos precisam adotar uma postura ativa em seu aprendizado. Essa prática não apenas estimula a autonomia, mas também oferece oportunidades para que ele perceba o que precisa melhorar e como pode avançar. 

Porém, essa percepção não surge de um ato puramente individual de cognição. Pelo contrário, trata-se de uma prática inserida em um contexto social, onde a percepção do aluno é construída a partir de interações intersubjetivas com seus colegas. É nas relações com os outros, ao considerar os diferentes pontos de vista, que o aluno desenvolve uma percepção mais ampla e rica de sua própria aprendizagem. Essas interações promovem a construção de alteridade, identidade e reconhecimento, como já explorei em um de meus artigos [link].

O segredo para o sucesso dessa prática está na calibragem cuidadosa entre os objetivos do curso, os materiais disponibilizados e os momentos de interação entre os estudantes. Quando esses elementos estão alinhados, o “feedback formativo entre pares” pode se tornar uma poderosa ferramenta para o desenvolvimento da autonomia e da aprendizagem colaborativa.

5 - Como a IA contribui para viabilizar o “feedback formativo” em um contexto de sala de aula?

Participei de dois processos de “feedback formativo” utilizando IA. 

O primeiro envolveu a coleta de dados provenientes da interação dos alunos em uma plataforma digital. Como a escrita verbal ainda é um dos principais meios de comunicação nessas interfaces, a solução que utilizei explora dados de textos produzidos na plataforma. 

No entanto, para que esses dados sejam significativos, é necessário categorizá-los. Isso significa que o professor deve criar um sistema de categorias que represente as ações esperadas dos alunos ao longo do curso — por exemplo, revisar dois trabalhos, comentar em cinco posts de colegas e em cinco posts do professor, entre outros.

Essas categorias permitem que o professor acompanhe as ações realizadas pelos alunos e, para incentivar o engajamento, proponho estabelecer métricas claras, como a exigência de que cada comentário tenha, no mínimo, 200 palavras. Assim, as métricas funcionam como um mecanismo de autorregulação para o aluno, que pode ajustar seu desempenho conforme as expectativas do curso.

Nesse sistema, cada dado coletado desempenha uma função formativa no processo de aprendizagem. Essa tarefa de coleta e análise de dados, por ser extensa e repetitiva, seria inviável para um ser humano executar manualmente. É aqui que a IA se torna essencial, ao realizar um trabalho mecânico e meticuloso que complementa a aprendizagem dos alunos.

A segunda experiência envolveu a aplicação de uma solução de IA generativa, com a geração automática de revisões para trabalhos escritos. 

Programamos a IA para fornecer comentários com base em critérios de rubrica previamente estabelecidos, os mesmos critérios que seriam usados por revisores humanos. Essa revisão automatizada é inserida na fase de entrega da primeira versão dos rascunhos dos alunos, antes que seus trabalhos sejam enviados para revisão pelos pares. 

Atualmente, estou envolvido em um projeto que visa utilizar essa tecnologia para gerar revisões em redações de alunos do Ensino Médio.

A correção dos textos desenvolvidos pelos alunos é uma tarefa muito trabalhosa e, até hoje, não foi possível implementá-la em larga escala devido ao alto custo. Nesse sentido, vejo a tecnologia como uma oportunidade de expandir a oferta desse recurso valioso. Em contextos em que a presença de revisores humanos é inviável, uma ferramenta como essa pode proporcionar aos alunos um feedback que, de outro modo, estaria fora de seu alcance. E, em contextos em que revisores humanos estão disponíveis, a revisão de IA pode atuar como uma fonte complementar de feedback e interação.

No entanto, é fundamental que a aplicação dessa tecnologia seja sensível ao contexto. Não indico um uso universal dessas ferramentas, pois cada ambiente de aprendizagem é único e o que funciona em um lugar pode não ser adequado para outro. Nesse ponto, o discernimento humano é indispensável para planejar e adaptar essas soluções com base nas necessidades específicas de cada contexto.

6 – É possível implantar o “feedback formativo” com as atuais ferramentas de IA do mercado?  

As ferramentas das big techs, em geral, não foram projetadas para a Educação e apresentam uma série de problemas. 

Assim, antes de entrarmos na análise das alternativas tecnológicas disponíveis hoje para as escolas, ressalto a necessidade de habilitarmos professores e alunos para uma aplicação pedagógica eficiente da IA.  

Estas ferramentas trazem limitações, algumas das quais destaco a seguir: 

Fontes: A máquina não tem consciência de suas fontes e apresenta referências, muitas vezes, falsas. Porque, na verdade, o que ela produz resulta de um apanhado de fontes diversas, que representam uma verdadeira caixa-preta se quisermos validar a origem do que está sendo gerado. Precisamos sempre cotejar as informações que recebemos neste apanhado da IA com outras fontes e o próprio conhecimento acumulado pela escola, professores, a ciência e a sociedade;

Fatos: A máquina não tem noção de verdade empírica. A prioridade dos seus modelos de linguagem é produzir narrativas convincentes, colhendo fatos que encontraram em suas fontes, mas sem poder verificá-los. Eles também inventam fatos inexistentes para completar um texto plausível, quando necessário. Devemos ficar atentos e também aqui cotejar, verificar;

Teorias: Os modelos de linguagem não produzem conceitos, ou seja, não produzem conhecimento. Eles não podem saber sobre a conexão entre cães e canis, por exemplo. Eles simplesmente encontram essas colocações de caracteres associadas a determinadas circunstâncias textuais e assim nos apresentam. Precisamos ter repertório para conseguir identificar as eventuais “alucinações” das máquinas, algumas são muito claras, mas outras, sutis;

Ética:  A máquina não possui sensibilidades morais, embora se mostre “bem-educada” e “sociável”. Os modelos de linguagem vão associando as palavras sem conseguir identificar se determinadas construções textuais resultam em preconceitos, expressões de racismo, sexismo e homofobia, discursos de ódio e violência, além de orientações sociais hoje inaceitáveis. Também aqui o repertório e a atenção dos professores são essenciais para orientar seus alunos;

Diálogo crítico: A máquina não tem senso crítico. Ela é programada para ser uma boa interlocutora, afirmativa e sem apresentar objeções. Como um hábil interlocutor, o chatbot mantém sua cortesia e, em grande medida, evita críticas, mesmo quando o interlocutor humano se mostra ofensivo ou crítico. Ou seja, é preciso fazer a engenharia de prompt de modo a estabelecer orientações e parâmetros para a máquina gerar análises críticas. Chegamos a esse resultado em nossa própria pesquisa, que já possui alguns artigos publicados na literatura especializada. Para uso escolar, o ideal é que os alunos disponham de um sistema já calibrado para trabalhar. Além disso, também é fundamental que os professores orientem os alunos a escrever prompts. Esse é um novo espaço de letramento, no qual um humano escritor interage com uma máquina que se tornou capaz de escrever. Precisamos nos familiarizar com esse espaço. Em uma escola onde leciono, fazemos este trabalho na disciplina STEAM, responsável pelo programa de educação digital da escola. 

Invasão de Privacidade e Roubo de Propriedade Intelectual: A IA generativa utiliza propriedade intelectual sem a permissão de seus proprietários. Grande parte desse material é protegido por direitos autorais. A IA generativa também captura informações sobre comportamento ao aprender com seus usuários. Nessa medida, levanta questões de privacidade que são particularmente preocupantes quando os usuários são crianças.

Este ponto reforça a necessidade de regulação do uso da IA e de haver  garantia na habilitação de professores e alunos.

Diante dessas características, o ideal seria que cada escola tivesse a sua própria plataforma, com um design que atendesse às suas necessidades. A plataforma poderia operar integrada a um LLM como o ChatGPT. Hoje já é possível desativar o uso de dados imputados para treinar o modelo, porém, ainda assim seria necessário um trabalho fino de “engenharia de prompts”. Desta forma, no momento esta é uma hipótese pouco factível – a de que cada escola disponha de sua própria plataforma, onde possa desenvolver os processos de “feedback formativo”. 

A segunda opção seria contratar uma plataforma desenhada para a Educação. Mas não adianta escolher uma plataforma que reproduza os processos pedagógicos convencionais, pois isto limita o trabalho com o digital e, muitas vezes, gera sobrecarga de trabalho para o professor. 

Caso opte pelas plataformas comerciais, é fundamental que a instituição realize um trabalho de letramento crítico e de desenvolvimento de prompts. É possível orientar os alunos a construírem prompts para solicitar feedback à máquina. 

Portanto, há o espaço de escrita de prompt propriamente dito, que é um novo letramento que precisa ser trabalhado e que dá margem a operar com transposições multimodais, por exemplo, de texto para imagem, som ou vídeo. 

7 – Como viabilizar o “feedback formativo” com os recursos disponíveis hoje nas escolas?

Como mostramos acima, é possível introduzir a metodologia do “feedback formativo” com diferentes tipos de plataformas disponíveis na Web (gratuitas ou não). 

Mas aqui, o ponto central nem é a tecnologia a ser empregada, e sim garantir que o aluno tenha uma devolutiva construtiva e prospectiva enquanto ele está aprendendo. 

Para isso, é preciso que a escola disponibilize:

• Uma metodologia clara e estruturada;
• Orientações práticas para implementação; 
• Materiais didáticos adequados;
• Momentos de interação bem planejados; e,
• Parâmetros de resultados mensuráveis.

A prática vai funcionar melhor com certas abordagens pedagógicas como a aprendizagem baseada em projetos, na qual o feedback será essencial para a realização dos trabalhos. Já no caso de aulas expositivas e avaliações tradicionais, não vejo muita oportunidade para essa abordagem.

(Edição: Rosali Figueiredo)