E ai framosip.
Como o eder já respondeu algumas das suas questões vou apenas completar com a minha opinião.
Em java realmente existem muitas siglas, isso se deve ao fato de existirem muitas coisas diferentes que possam ser feitas em Java e de muitas formas diferentes, como java pensa orientado a objeto, então é melhor separa o que fará cada coisa e depois dar nome(ou sigla) aos bois. Programar em java é trabalhar em cima de padrões e definições.
Como novo desenvolvedor Java, você precisa aprender Orientação a Objeto, o básico da linguagem(estrutura de repetição, condicionais, etc.), depois disso, exitem muitas apostilas que deixam um pouco o lado teorico e parte para o lado pratico, eu aconselho acessar o site da empresa Caelum e procurar pelas suas apostilas.
Como ferramenta de desenvolvimento eu utilizo o Eclipse, ele serve tanto para desenvolvimento WEB quanto para desktop. alem disso é possivel intalar plugins para desenvolvimento Mobile, ou até de outras linguagens como C e Ruby por exemplo.
Se você for utilizar o Eclipse existem tutoriais para configuração de ambiente tanto windows quanto linux aos montes na internet, se eu não me engano aqui no forum também deve ter. Se for utilizar o NetBeans acho que é só baixar a versão desejado no site da Sun.
Quanto a ultima pergunta, se você for fazer uma pequena aplicação eu particularmente acredito que PHP ou Delphi seriam opções melhores, porém quando se trata de um grande aplicação em ambiente empresarial, o java bate em qualquer uma de 10 a 0, principalmente, pois neste caso você ganhará muito em reutilização de código (não CTRL+C e CTRL+V), terá um código mais limpo, sem contar que com java você pode ter diferente tecnologias ligadas através de uma unica linguagem.
O jargão ou slogan(sei lá) do java é “write once run anywhere” e isso conta bastante para um grande empresa.
