DÉBITO TÉCNICO EM PROMPTWARE: UM ESTUDO EMPÍRICO EM REPOSITÓRIOS DE SOFTWARE

Descrição

A integração de Modelos de Linguagem de Grande Escala (LLMs) em sistemas de software consolidou os prompts como artefatos de primeira classe: componentes versionados e mantidos em repositórios de código-fonte que codificam lógica de negócio, restrições de comportamento e estratégias de raciocínio. Esse conjunto de práticas constitui a engenharia de promptware. Paralelamente, a popularização de frameworks de orquestração como LangChain, LlamaIndex e DSPy introduziu uma categoria de prompts gerados automaticamente por ferramentas, cujas características de qualidade diferem substancialmente dos prompts redigidos manualmente. Apesar da centralidade desses artefatos, nenhum estudo investigou longitudinalmente como sua qualidade evolui ao longo do tempo em repositórios reais de software. Este projeto propõe um estudo empírico longitudinal para preencher essa lacuna, investigando a evolução da dívida técnica e da dívida cognitiva em arquivos de prompts versionados em repositórios públicos do GitHub. A dívida técnica em prompts é definido como o acúmulo de problemas estruturais detectáveis por análise automatizada — vulnerabilidades de segurança, instruções contraditórias, redundâncias e especificações incompletas. A dívida cognitiva é a dificuldade crescente de compreensão e manutenção dos artefatos ao longo do tempo. Para capturar ambas as dimensões, adota-se uma abordagem multi-ferramenta: análise estática especializada em prompts, métricas de complexidade inspiradas em analisadores de código convencional como o SonarQube, e avaliação semântica por LLM-as-judge. A metodologia compreende cinco fases: construção de corpus de repositórios públicos, desenvolvimento de pipeline multi-ferramenta de extração de métricas, análise longitudinal quantitativa, análise da dívida cognitiva com ênfase em prompts gerados automaticamente, e síntese dos resultados. O projeto utiliza exclusivamente ferramentas gratuitas e dados públicos, sem dependência de recursos financeiros externos. As contribuições esperadas incluem a primeira caracterização empírica longitudinal e multi-dimensional da dívida técnica e cognitiva em promptware, um catálogo de padrões de evolução de qualidade e um conjunto de dados público de métricas longitudinais para centenas de repositórios.