se pesquisar no Google por algo como “Chat GUJ”, já acredito que terá bastante opções.
O mesmo acontece pesquisando aqui no GUJ. Tem vários tópicos que falam sobre criação de chats com JAVA.
Usando como referência o que disse, criar o chat usando IP e Porta, uma sugestão é realmente Sockets.
Acredito que o mais importante é definir a tecnologia e feito isso, iniciar os estudos.
Faça boas pesquisas sobre o uso de Sockets em Java, decida se irá usar TCP ou UDP e depois, meu caro, mãos a obra.
Threads também são importante, possívelmente irá utiliza-las, portanto, creio que seu estudo inicial seja Socket + Threads.
E espero que não tenha dúvidas básicas do Java e sua utilização, como classes da API Collections. É importante ter uma boa base de conhecimento