Adição de componentes num painel

Pessoal, minha dúvida é a seguinte. Tenho uma aplicação, onde divido a tela em 3 painéis, sendo que um deles tem um label, o outro tem botões e no terceiro painél("painel 2" da imagem em anexo), dependendo do botão que eu cliquei, aparece um conjunto de componentes diferentes. Ou seja cada botão remete ao surgimento de componentes diferentes. Por exempo, o clique no botão 1, faz aparecer 3Jtextfields, 2 jtexareas e 2 combox. Já o clique no botão 2, faz surgir no painel, uma jtextarea e uma jlist e assim vai. Enfim, o que devo fazer para anexar esses grupos de componentes no painel de acodo com o botão clicado? Deveria criar uma classe pra cada grupo de componentes que deve aparecer? Ou jogo tudo no ButtonHandler? Segue um rascunho da minha interface em anexo.
  Agradeço a atenção de todos.