Análise Comparativa do Feedback Gerado por Modelos de Linguagem em Problemas de Programação com e sem Contextualização

Descrição

O avanço dos Modelos de Linguagem de Grande Escala (Large Language Models – LLMs) tem ampliado as possibilidades de aplicação da inteligência artificial no contexto educacional, especialmente no ensino de programação. Esses modelos são capazes de gerar explicações, sugestões de solução e feedbacks automáticos para atividades de aprendizagem, apresentando potencial para apoiar estudantes durante a resolução de problemas. Paralelamente, pesquisas em educação em programação têm destacado a importância da contextualização dos enunciados como estratégia para aumentar o engajamento, a compreensão e a identificação dos estudantes com as atividades propostas. Apesar do crescente interesse nessas duas áreas, ainda são escassos os estudos que investigam como diferentes modelos de linguagem geram feedbacks para problemas de programação apresentados em formatos contextualizados e não contextualizados. Nesse contexto, este projeto tem como objetivo analisar comparativamente os feedbacks produzidos por LLMs em problemas de programação com e sem contextualização, investigando suas características pedagógicas e seu potencial de apoio à aprendizagem. A metodologia contempla uma revisão da literatura, a elaboração e validação de conjuntos de problemas contextualizados e não contextualizados, a geração de feedbacks utilizando diferentes modelos de linguagem e a análise comparativa das respostas produzidas. Serão avaliados aspectos como clareza, completude, precisão técnica, qualidade pedagógica, contextualização, personalização, estímulo ao raciocínio lógico e potencial motivacional. Como resultados esperados, pretende-se identificar diferenças entre os feedbacks gerados em distintos contextos, produzir evidências sobre o potencial educacional dos LLMs, elaborar recomendações para seu uso pedagógico e contribuir para o avanço das pesquisas em Inteligência Artificial na Educação e ensino de programação.