Problema com conexão

Olá galera!

Estou com um problema e estou com muita dificuldade de resolver!
Abri a porta no meu roteador vinculei a mesma com uma máquina local e criei nesta máquina local um servidor simples em
java utilizando ServerSocket.
Tento estabelecer uma conexão com Socket (client) por meio do ip externo, mas
do lado do cliente é gerada a seguinte exceção: java.net.ConnectionException:Connection refused:connect

É preciso configurar alguma permissão ou credencial
no ServerSocket ou em Socket ou até mesmo em
outro lugar?

Alguém pode me ajudar?