http://www.pushing-pixels.org/?p=260 diz que no último build do Java 6.0 update 10 (que você pode baixar de http://download.java.net/jdk6/binaries/ ) é possível, com algum esforço, ter janelas transparentes, translúcidas e não-retangulares. Veja os screenshots na URL que postei.
Olá
Na verdade não é certo de que saia no próximo release do Java 6. Isto faz parte do Java SE 6 Update N, novo nome do Consumer JRE. Só deve ser lançado o FCS dele no segundo semestre de 2008 e antes disto poderá sair o release 05 do Java 6 comum.
[]s
Luca