Criar um diretório oculto em java!

Você pode até atribuir o atributo “hidden” (oculto) a um arquivo, mas isso não adianta muito - basta você alterar uma opção do Windows Explorer para que ele mostre os arquivos “escondidos” só que com os ícones embaçados.

Normalmente o que se faz para proteger uma chave privada é você protegê-la com uma senha (ou seja, criptografá-la com um algoritmo simétrico, usando uma variação de “Password-Based Encryption” ou então usar um dispositivo de hardware (às vezes também requerendo senha) que contenha dentro de si a chave privada.

Você não estava usando o OpenSSL? Você deve se lembrar que para várias operações ele requer uma senha para acessar uma chave.

Como posso proteger um chave privada com o OPEMSSL?

O formato PEM para chaves privadas requer uma senha.

Será que você poderia me mostrar um comando para gerar a chave .pem com senha?

http://www.openssl.org/docs/apps/openssl.html

Use a opção passout (olhe na documentação as formas de você usar o parâmetro -passout). Por exemplo, se você quer usar a senha hahaha, então faça:

openssl genrsa -passout pass:hahaha -out chaveprivada.key 1024

(O formato padrão do OpenSSL é PEM).