Java web - como faço para lista os dados do banco em uma pagina html?

Não, o html em si não interage com o backend, apenas com a estrutura da página. Até por que o jsp foi feito integralmente para isso, pois ele se aparenta mais com as tags html. Agora caso queira, você pode misturar servlet com html.