Plataforma de Avaliação, Governança e Validação de LLMs no SDLC

Descrição

Este projeto de pesquisa científica e tecnológica tem como objeto de investigação a avaliação sistemática, comparação empírica e governança baseada em evidências de Modelos de Linguagem de Grande Escala (LLMs) aplicados ao Ciclo de Vida de Desenvolvimento de Software (SDLC). A questão central de pesquisa que orienta o projeto é: quais métricas, metodologias e frameworks são mais eficazes para avaliar cientificamente o impacto de LLMs nas diferentes fases do SDLC, em termos de qualidade, produtividade e viabilidade econômica? Embora LLMs estejam sendo amplamente adotados na indústria de software, a literatura científica ainda carece de metodologias padronizadas e evidências empíricas robustas sobre seu impacto real em cenários organizacionais. A maioria dos estudos existentes restringe-se à fase de codificação e a benchmarks sintéticos, não representando adequadamente a complexidade do SDLC em ambientes reais [1, 11]. Diante dessa lacuna, o projeto investigará, por meio de estudos experimentais controlados, revisão sistemática da literatura e experimentação empírica, como diferentes categorias de LLMs — proprietários e de código aberto — se comportam nas distintas fases do ciclo de desenvolvimento: engenharia de requisitos, design de arquitetura, geração de código, revisão, geração de testes e manutenção [3, 11]. A pesquisa buscará formular, validar e refinar um conjunto de métricas científicas e operacionais para avaliação de LLMs no SDLC [2, 7], contribuindo para o avanço do conhecimento na interseção entre Engenharia de Software, Inteligência Artificial e Ciência da Computação. Os resultados esperados incluem publicações em periódicos e conferências de alto impacto, datasets de benchmark em língua portuguesa e inglesa [12], além de um modelo de governança de IA para desenvolvimento de software com potencial de replicação em diferentes contextos industriais e acadêmicos.