Vieses em Modelos de Linguagem de Grande Porte: Avaliação Experimental Simplificada e Usos Didáticos

Descrição

Modelos de linguagem de grande porte (Large Language Models — LLM) vêm sendo incorporados de forma crescente em atividades educacionais, incluindo geração de exercícios, feedback automatizado sobre textos de estudantes e recomendações de trajetórias acadêmicas e profissionais. Estudos recentes demonstram que esses modelos tendem a reproduzir e amplificar vieses sociais presentes em seus dados de treinamento, manifestando estereótipos de gênero, raça, idade, origem socioeconômica e outros marcadores sociais em suas respostas. Este projeto de pesquisa investiga, por meio de experimentos controlados de pequena escala, como vieses se manifestam em LLM em tarefas de linguagem natural relevantes para contextos educacionais, utilizando prompts contrafactuais sintéticos e análise qualitativa e semiquantitativa dos resultados. O projeto tem duração de três anos e servirá como guarda-chuva para planos de trabalho de Iniciação Científica (12h/semana). No Ano 1, serão mapeados tipos de viés observáveis em LLM e realizados experimentos iniciais com pares de prompts contrafactuais que variam um único atributo sensível por vez (gênero, raça, idade), expandindo nos anos seguintes para origem socioeconômica e deficiência. No Ano 2, os experimentos serão ampliados para cenários educacionais específicos — recomendações acadêmicas, feedback sobre textos e descrições de perfis profissionais —, e serão testadas estratégias simples de mitigação por engenharia de prompts. No Ano 3, os resultados serão consolidados em um conjunto documentado de protocolos experimentais, um benchmark preliminar em português para avaliação de vieses em LLM e materiais didáticos (roteiros de laboratório, notebooks Jupyter) para disciplinas de graduação em ética e justiça algorítmica. A pesquisa não envolve coleta de dados pessoais, fine-tuning de modelos ou infraestrutura computacional avançada, sendo viável no escopo restrito de projetos de Iniciação Científica.