Avaliação de Ferramentas de Inteligência Artificial na Análise de Documentos Administrativos: Uma Revisão Sistemática com Aplicação Experimental

Descrição

A crescente digitalização da administração pública tem impulsionado o uso de tecnologias baseadas em Inteligência Artificial (IA), especialmente na análise de documentos administrativos. Nesse contexto, técnicas de Processamento de Linguagem Natural permitem automatizar a leitura, a interpretação e a identificação de inconsistências em contratos públicos e documentos correlatos. Este estudo tem como objetivo analisar, por meio de revisão bibliográfica sistemática e aplicação experimental, o uso de ferramentas de IA na análise de documentos administrativos, com ênfase em contratos públicos. A pesquisa propõe avaliar comparativamente nove configurações de ferramentas de IA generativa (ChatGPT, Claude e Gemini, cada uma nas modalidades gratuita e paga) quanto à sua capacidade de identificar erros, inconsistências e padrões de risco em vinte documentos administrativos públicos, organizados em cinco grupos documentais. A metodologia combina revisão sistemática da literatura, conduzida com base no protocolo PRISMA, com aplicação experimental empírica em documentos administrativos, utilizando prompts padronizados, um banco de 53 perguntas e critérios de avaliação como correção, completude, precisão, consistência, clareza, profundidade, fidelidade documental, alucinação, omissão, interpretação e conformidade. Cada resposta produzida pelas ferramentas é comparada a uma resposta de referência (Gold) elaborada pelo pesquisador com base documental explícita, sem que se estabeleça previamente qualquer hierarquia de desempenho entre as ferramentas testadas. Espera-se que os resultados contribuam para a melhoria da governança pública, promovendo maior eficiência, transparência e segurança na análise documental no setor público.