Sim, eu já vi isso aqui: http://docs.oracle.com/javase/tutorial/uiswing/misc/trans_shaped_windows.html
No entanto ele gera janelas com serrilhados. E também não consegui combinar translucência por pixel com janelas com formas.
Não tem algum jeito de usar uma imagem com transparência para determinar a forma da janela e a área clicável?
SWT está fora de questão porque estou desenvolvendo uma aplicação multiplataforma.