Como fazer uma aplicação nativa para desktop ou usar a técnica Site-Specific Browser, usando como back-end java(Servlets, JSF, JPA, etc) ?

Eu tenho pesquisado sobre aplicações desktop nativas com html5 e css, SSB (Site-Specific Browser) e Plataforma Universal do Windows. Eu encontrei muito material com php, mas eu gostaria de usar java, servlets e etc, em minhas aplicações. Eu estou tendo dificuldade em encontrar uma ferramenta em que me possa auxiliar com isso. Existe alguma?

Para servir de backend de outras aplicações, sem elas Desktop ou HTML5 vou recomendar você criar um WebService.

Para o seu caso vou indicar mais especificamente REST Service com JSON.

Em Java existem várias formas de você chegar a esse resultado. Apenas com Servlets, usando JEE, usado Frameworks como Spring etc…