Declaração de variáveis

Ola! Pessoal estou com uma pequena dúvida aqui nos estudos. Criei uma classe para gerenciar janelas titlewindow, contendo varias variaveis e registro de event, addEventListner. Para tentar controlar a memoria utilizada pelo sistema, sempre que possível removo o eventos registrados e seto a variaveis para null, exeto as primitivas, int, string etc.

O problema é que mesmo removendo os registros e setando as variaveis para null, a memoria não volta para o estado inicial. Diminui para sempre sobre um pouquinho, e ai vai aumentando até creio eu estourar.

Então pergunto. Dentro da classe quando eu não precisar mais dela, alem de remover dos eventos dos botões registrados e setar as variaveis para null, tenho que remover de alguma forma as variaveis declaradas?

O que devo fazer para resolver este problema?