Li no documento do DefaultFormatterFactory que passando 3 mascaras como parametros consigo o efeito que preciso, ou seja quando estiver em foco fique sem mascara e quando perder o foco fique com a formatação que eu especificar.
Encontrei um teste com datas e funciona, mas quando faço como abaixo, ele funciona até perder o foco, ai fica td em branco.
Alguem sabe como consertar isso e pq isso acontece ?
DefaultFormatterFactory factory1 = new DefaultFormatterFactory();
factory1.setDefaultFormatter(maskField("(##) ####-####"));
factory1.setEditFormatter(maskField("## ########"));
factory1.setDisplayFormatter(maskField("(##) ####-####"));
JFormattedTextField date3TextField = new JFormattedTextField(factory1);