jPanel redimensionando sem eu querer

Então gente eu tou começando no java e estou tentado fazer um joguinho da velha apenas pra testar meus conhecimentos e deu o seguinte problema:
Eu coloquei um icone no label dentro de um jPanel e preciso declarar que ao clickar no botao começar o label ficar em setVisible(false), mais está mudando o tamanho do jPanel quando faço isso…Como Resolver??Desde já agradeço…