Continuando a discussão do Java Web Start:
É antigo, mas fica como solução:
No meu caso, como o sistema é dinâmico (instalado em locais diferentes, em cada cliente), eu precisei remover o atributo href da tag jnlp, ficando assim:
<jnlp codebase="http://<minha_url_dinamica>" spec="1.7+">
Depois disso, abriu normalmente.
Veja se ajuda