Dúvida como fechar JPanels no CardLayout

Estou com um problema pois possuo 5 JPanels de tamanhos diferentes dentro de um CardLayout . Gostaria de saber se há como deixar apenas um JPanel aberto sem que sofra influência no seu tamanho por outros JPanels de tamanhos diferentes. Até li o tópico sobre JInternalFrames, porém não gostaria de ficar abrindo outras JFrames pois visualmente o programa não iria ficar legal.