A Fuzzy-Gated AdamW Variant for Selective Weight Decay in Neural Networks

Descrição

Este projeto propõe o desenvolvimento e a avaliação experimental do FG-AdamW (Fuzzy-Gated AdamW), uma variante do AdamW em que o termo de weight decay é modulado por um fator contínuo s_t no conjunto [0,1], calculado de forma fuzzy para cada coordenada dos parâmetros do modelo. A ideia central é substituir o weight decay uniforme do AdamW por uma regularização seletiva e gradual, buscando maior equilíbrio entre desempenho preditivo e controle da norma dos pesos. O método será comparado com Adam, AdamW e uma variante seletiva binária em problemas de classificação com redes neurais pequenas e médias.