Vamos por partes.
Primeiro se vc já tem programas funcionando em Delphi vc tem que ter um motivo para migra-los para Java, pq se eles estão funcionando como estão não tem pq vc ter todo o trabalho de reescreve-los apenas para usar Java por ser Java.
A melhor fonte do Java é a propria página do Java 
java.sun.com
Primeiro vc vai precisar do J2SDK, isso é o Java 2 Standard Developer Kit, ou seja o Kit de Desenvolvimento para Java 2 Standard, que é a versão do Java q vc vai usar para iniciar em Java e desenvolver aplicativos Desktop.
Isso vc puxa do site do Java http://java.sun.com/j2se/downloads.html
É Free, mas não tem nenhuma IDE com ele, ou seja, vc vai ter que escrever com um editor de texto qualquer, tipo o Bloco de notas.
Eu pessoalmente acho que para aprender java é melhor vc sofrer um pouco escrevendo cada caracter no bloco de notas do que usando uma IDE que pode fazer algum trabalho sujo para vc, mas sinceramente, quem sai na cha é pra se molhar.
mas isso é uma discusão bem grande e se vc preferir usar uma IDE procure por “IDE” aki no forum existem várias free muito boas ai vc escolhe.
Agora a parte dos Sites:
Posso desenvolver meus sites com acessos a BD com o mesmo JAVA que desenvolvo meus programas locais ?
Estava escrevendo sobre isso mas achei melhor deletar e deixar alguem mais esperiênte nesta área dar a sua opinião.
Mas respondendo um pouco: vc usa Java, e Java é Java, mas para internet vc precisa de algumas coisas que vc não precisa no desktop, portanto vc vai usar algo a mais.