Você não pode fazer isso usando apenas Java. É necessário chamar algum utilitário do sistema operacional.
No caso do Windows: attrib +h
Exemplo: attrib +h c:\temp\teste.txt
O arquivo deve estar fechado antes de você alterar o atributo.
De qualquer maneira, pôr um atributo de “hidden” não esconde o arquivo de verdade (apenas na listagem “dir” no Command Prompt, e isso se você não passar o parâmetro “/ah”). Se você usar o Windows Explorer, por exemplo, ele é mostrado com o ícone “embaçado”, mas não esconde o arquivo.
No caso do Linux e Unix, você deve criar o nome do arquivo com um ponto no início (exemplo: “.settings”.). De novo, isso não esconde o arquivo de verdade (apenas na listagem “ls” no terminal, e isso se você não passar o parâmetro “-a”).
Se você usar algum visualizador de diretórios e arquivos (na interface gráfica), é possível mostrar os arquivos “escondidos” usando alguma opção no menu.
Ou seja: esconder arquivos é utopia.