Modificar a ordenação dos botões no jOptionPane

É possível criar um jOptionPane com os botões aparecendo um em cima do outros, ao invés de um ao lado do outro?

Assim:

Botão 1
Botão 2
Botão 3
Botão 4

E não assim:

Botão 1 | Botão 2 | Botão 3 | Botão 4

Se existe essa possibilidade, alguém poderia me ajudar?

JOptionPane não foi feito para ser customizado dessa forma.
Crie sua própria janela com os botões no layout que quiser.