Conectar rede Linux com java?

Depende.
a) Seu programa Java roda em outro Linux e este Linux montou o diretório que contém o arquivo a ser modificado via NFS - nesse caso, basta você acessar o arquivo como se fosse um arquivo qualquer. (Algumas máquinas Windows também têm algum software que entende NFS - nesse caso, consulte a documentação desse software).
b) Seu programa Java roda em Windows mas a máquina Linux disponibilizou o diretório via Samba - nesse caso, acesse o arquivo como se fosse um arquivo compartilhado por uma máquina Windows.
c) Seu programa Java roda em Windows ou Linux e a máquina Linux disponibilizou o diretório via FTP - você precisa usar alguma biblioteca FTP.
d) Seu programa Java roda em Windows ou Linux e a máquina Linux disponibilizou o diretório via WebDAV - você precisa usar uma biblioteca que acessa WebDAV.

[color=darkblue]Se você usar o Driver correto isso já serve para fazer a conexão, é claro com Mysql mas se for qualquer outro banco é só mudar a String de conexão, apontando para o banco correto, caso seja Hibernate é so configurar a base, o que é usado no caso que estou descrevendo é JDBC [/color]

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;

public class Conexao {

	public static void main(String args[]) throws ClassNotFoundException {
		String url = "jdbc:mysql://localhost:3306/java";
		String user = "teste";
		String pass = "123";

		try {
			Class.forName("com.mysql.jdbc.Driver");
			Connection con = DriverManager.getConnection(url, user, pass);
		} catch (ClassNotFoundException e) {
			System.out.println("Classe não encontrada");
		}

		catch (SQLException e) {
			System.out.println("Problemas com o BD" + e);
		}
	}

}