Sim. Alias, nem eh possivel usar j2ee sem o j2se, pois o primeiro eh apenas, digamos assim, um complento.
E mais, se voce quiser fazer apenas servlets/jsp, nem precisa pegar o j2ee inteiro, mas sim apenas o arquivo servlet.jar… voce pode encontrar ele na secao de download aqui do guj.
completando o que o Rafael disse, como você vai ter que usar um webcontainer para rodar seus servlets e jsp, e se esse webcontainer for o tomcat (acredito que sim), dentro dele já existe o arquivo servlet.jar, só adicionar ele no classpath e pode usar normalmente.
Config.sys? Po, Ironlynx, eu achava que vc estava usando um sistema operacional, e nao programando em cima de um layer da BIOS
Mas, voltando ao assunto, de uma procurada aqui no GUJ sobre como instalar o Tomcat. Ele jah vem com o servlet.jar (assim como qualquer application server ou web container que se preze ;))