Se você está querendo somente montar um servidor de fax, vale apena dar uma olhada em http://www.trixbox.org/.
Agora, se você está querendo montar um servidor de fax EM JAVA, FAZENDO O SOFTWARE, o buraco é mais embaixo
Um dia desses eu estava tentando fazer um CallerId (que envolve basicamente as mesmas coisas) e foi bem difícil fazer a comunicação com o Modem. Tá certo que minha máquina é um Mac e isso atrapalhou bastante, não sei como seria no Windows ou Linux.
O caminho das pedras é Java Comm API e um driver de comunicação qualquer para usar como conector da Java Comm com o dispositivo (Modem).