Olá,
Eu procurei bastante e não consegui achar o qe eu queria, então criei um tópico.
Dúvida 1:
Vamos supor que eu tenho uma aplicação em java que abre um documento de texto, Documento.dcmt (Que foi criada justamente para ele), e dentro desse programa tem o texto, data de criação, versões antigas; em XML.
Como fazer para que toda vez que um arquivo com a extensão .dcmt for aberto, o SO execute meu jar e de a localização do arquivo para meu programa?
Dúvida 2:
Como eu disse esse arquivo (.dcmt) contém um xml, mas eu nao queria que ele fosse aberto e entendido logo de cara por qualquer editor de texto, não precisa ser criptografia, só pra disfarçar mesmo. Alguma coisa com bytes, ou binária. Sei lá 
O que eu posso usar?
Valeu :]
Quanto à Duvida 2, basta compactar e salvar com essa extensão, será o bastante pra impedir que o arquivo seja aberto por qualquer editor de texto.
daveiga: verdade uma compactação resolveria meu segundo problema
Agora falta a primeira questão
Quanto à duvida 1, A solução para windows seria a seguinte. O instalador da sua aplicação deverá adicionar uma chave no registro do windows que faça a associação da extensão do arquivo com a sua aplicação. Além do mais, quando você for abrir o seu arquivo, a sua aplicação será aberta e nome do seu arquivo será passado como parâmetro para sua aplicação. Assim, você deve deixar seu código pronto para ser executado vai passagem de parâmetro.
Para saber como manipular o registro para fazer o que eu disse, procure no google por “regedit open shell command”.