No lugar do seu construtor vazio, você deveria criar um construtor assim na sua janela de configurações:
public Configuracoes(JFrame pai) {
super(pai);
//Resto do seu construtor aqui
}
E então, ao criar a janela de configurações, passe o link para o frame que está abrindo o dialog, normalmente, this:
Ou, se estiver num método de botão, SuaJanela.this:
//Onde SuaJanela é o nome da janela que está abrindo a janela Configuracoes
Configuracoes configuracoes = new Configuracoes(SuaJanela.this);
Observe que a necessidade de passar o pai em JDialogs existe em todas as janelas modais, inclusive o JOptionPane. É o que o primeiro parâmetro do JOptionPane significa. E quando o JDialog sabe quem é seu pai, evita comportamentos esquisitos como o que você está tendo.