JSP vc nao vai conseguir debugar mesmo, mas Servlet vc consegue. Pelo eclipse é só criar um novo Remote Java Application no debug Configurations, ai na aba Source vc adiciona seu projeto. Host digita seu ip ou localhost, e porta, a porta de debug do tomcat.
Pra ativar o debug no tomcat, vc vai ter que alterar seu catalina.bat dentro do tomcat/bin
exemplo de alteração:
Isso faz com que a porta de debug seja ativa na 8000, essa é a porta que deve estar na config do eclipse