Modelos de Linguagem na Correção e Feedback de Avaliações Discursivas Manuscritas no Ensino Médico: Concordância com Avaliadores Humanos, Celeridade e Percepção Discente

Descrição

Introdução: Apesar da rápida emergência da inteligência artificial (IA) generativa na educação, sua aplicação na avaliação formal em medicina ainda enfrenta desafios de validade. Objetivo: Explorar o uso de Large Language Models (LLMs) na correção de respostas discursivas manuscritas e geração de feedback, avaliando concordância, celeridade e percepção discente em relação à avaliação docente tradicional. Métodos: Estudo metodológico, quantitativo e transversal, com coleta em contexto avaliativo real (Medicina/UFERSA). Duas questões discursivas de diferentes níveis cognitivos (expositiva-descritiva e interpretativa-analítica) serão aplicadas em provas de estudantes do 1º e 3º períodos (n = 84). As respostas serão digitalizadas, anonimizadas e submetidas de forma independente à correção docente e aos LLMs ChatGPT (OpenAI), Gemini (Google) e Claude (Anthropic), com rubrica e prompt padronizados. O desempenho avaliativo dos LLMs será analisado usando os métodos de Bland-Altman, teste t pareado, discrepância média de notas e correlação de Pearson, tendo as notas da correção docente referência. A celeridade de correção será comparada descritivamente e por teste t para uma amostra. A percepção discente entre os feedbacks (docente vs. IA) será avaliada via questionário e analisada por teste Χ2 de aderência. Resultados esperados: Os achados deste estudo poderão subsidiar a adoção de LLMs no apoio à avaliação em educação médica, com potencial para fornecer feedback oportuno e personalizado, reduzir a sobrecarga de trabalho docente e favorecer a autorregulação da aprendizagem pelos estudantes.