Sei que este tópico é bem antigo, mas como o encontrei pelo google e sem uma resposta definitiva, vale a pena eu relatar meu caso.
Peguei todos os JFrame que eu queria que não aparecessem na barra de tarefas e alterei o extends de “javax.swing.JFrame” para “javax.swing.JDialog”. Pronto, nenhuma dessas janelas aparece mais na barra de tarefas e manteve-se o comportamento de cada uma, ou seja, não modal e resizable, no meu caso.
Uso o Netbeans e não tive o menor problema com o Matisse por causa dessa alteração “na mão”.
Ah, hoje uso o Netbeans 6.0 e jdk 1.6.0.