Nenhum problema, o Swing não guarda mesmo o estado do que tem dento de suas janelas.
Sempre que a janela precisa ser pintada, ela chama o método paintComponent dos seus componentes.
Se você quer que sua janela se desenhe, ponha seu método de desenho lá.