EyetrackingMOS e métricas automáticas para avaliação de TTS em português

Descrição

Este projeto dá continuidade ao ciclo PIBITI 2025-2026 da UFAL (PVLE3597-2025), dedicado à proposição de um protocolo experimental para avaliação subjetiva e objetiva de fala sintetizada por rastreamento ocular e análise acústica. A primeira fase estruturou procedimentos metodológicos para avaliação de fala sintetizada e propôs, como produto técnico, uma plataforma aberta para aplicação do protocolo EyetrackingMOS (ARAÚJO et al., 2024). A segunda fase desloca o foco para a validação técnica, a documentação e a transferência de produtos tecnológicos voltados à avaliação de sistemas Text-to-Speech (TTS) em português. O ciclo 2026-2027 entregará quatro produtos integrados: uma matriz de validação técnica da plataforma EyetrackingMOS, baseada em arquitetura React, jsPsych (LEEUW; GILBERT; LUCHTERHANDT, 2023) e WebGazer.js (PAPOUTSAKI et al., 2016), conforme descrita em Carvalho (2026); um pipeline reprodutível em R e Python para extração de medidas acústico-prosódicas e métricas automáticas de avaliação de TTS, como WER, CER e SECS; um pacote curado de estímulos, TextGrids e metadados de fala natural e sintetizada do português; e um conjunto de documentação técnica, templates e checklists para o Blizzard Challenge 2027 e o Speech Synthesis Workshop. A proposta articula-se diretamente ao projeto “Entre muitas vozes: síntese de fala usando dados de fala espontânea com variedades linguísticas do português”, coordenado pelo proponente e contemplado com R$ 530.199,31 na Chamada Pública MCTI/CNPq nº 16/2025 – Apoio a Projetos Internacionais de Pesquisa Científica, Tecnológica e de Inovação. Esse macroprojeto reúne pesquisadores da UFAL, UFMT, USP-ICMC, UNESP, NVIDIA Corporation, Venturus, Instituto de Telecomunicações e Instituto Superior Técnico da Universidade de Lisboa. No âmbito dessa cooperação, a plataforma EyetrackingMOS está sendo desenvolvida pela equipe de colaboradores da USP, sob orientação do Prof. Dr. Renato Moraes Silva, a partir da concepção metodológica originalmente proposta pelo coordenador deste projeto, Prof. Miguel Oliveira Jr., e de requisitos técnicos formulados em diálogo com a equipe da UFAL. A validação técnica conduzida pela UFAL será diretamente vinculada à preparação do Blizzard Challenge 2027 e do Speech Synthesis Workshop, que terão sua primeira edição brasileira em Maceió, Alagoas. O Blizzard Challenge, organizado desde 2005 (BLACK; TOKUDA, 2005), é o principal benchmark internacional de síntese de fala, e o Speech Synthesis Workshop é o principal evento da área. A plataforma EyetrackingMOS será preparada para atuar como interface de aplicação da métrica complementar de avaliação subjetiva do Blizzard 2027, tornando os produtos deste ciclo PIBITI parte da infraestrutura técnica desses eventos. Os bolsistas e voluntários desenvolverão habilidades em validação de software, programação em R e Python, curadoria de dados de fala, métricas automáticas de avaliação de TTS, documentação técnica e ciência aberta. Cada plano de trabalho terá produto próprio e entregas independentes, integradas ao final em um pacote tecnológico aberto para avaliação de fala sintetizada em português.