Chat 3.0(Ainda sem HTML). Como chamar outros usuários pra minha sessão de chat?

Oi Oi Povo.
Então.
Estou com uma dúvida de lógica… Estou fazendo uma versão melhorada daquele chat, ainda sem HTML.
Na verdade tenho uma view em HTML em outro projeto separado rsrs.

Enfim, O problema é o seguinte :

O Moderador e o Administrador poderão chamar os usuários para um chat particular.

O problema é que eu não sei como eu faria isso…
Porque , se cada chat é feito em uma porta, eu teria que abrir um chat separado ?
Bom, eu poderia ser prático, e simplesmente abrir um novo .JAR com o aplicativo e chamar os clientes para se conectarem naquela porta… mas isso é meio preguiçoso…

Alguem tem alguma idéia o.o ?

Bom, eu pensei no seguinte.

Quando o admin ou o mod quiser criar uma sala particular, é criado um novo arraylist, apenas com essas pessoas.
E então eu trabalho em cima dela.

Será que isso é eficiente?