FINALMENTE CONSEGUI!
Depois de vários dias de pesquisa, estudando foruns gringos e todos os materiais que vi na internet. Irei passar o caminho das pedras para os meus comapnheiros que estão precisando fazer a mesma coisa.
No geral, a ideia
1 - Fazer a associação do seu formato com o seu programa, (acredito que seja necessário que você converta o .jar em .exe para fazer essa associação)
*você deve executar o prompt de comando como administrador e utilizar o comando (ftype nome_da_extenção = “caminho absoluto do executavel” “%1”) sem os parenteses. O nome da extenção não é o mesmo que a extenção em sí, tipo a extenção é .ebk e o nome é EBook vc vai escolher
2 - Depois você pode manipular o caminho do arquivo no programa, pois o caminho da pasta será passada como argumento para o metodo main, ou seja args[0] será igual ao caminho do arquivo que foi clicado. 
O ideal é que você utilize programas para editar isso.
eu utilizei os seguintes.
exe4j =>serve para converter o jar para exe
Istoo => este programa serve para gerar o script de instação incluindo alterações nas chaves de registro, alterando elas podemos fazer a associação de arquivos.
inno setup => é o programa que compila o script gerado pelo istoo.
Espero ter ajudado, se minha explicação não ficou clara, podem fazer as perguntas nas mensagens privadas.