Tenho lido alguns livros sobre frontend em JS e um deles apresentou o EJS, mas pelo que entendi o contexto era geração de páginas para blogging. Eu também tô curioso sobre Mustache, Handlebars e PUG. Minha dúvida é se eu for criar um aplicativo web ou um PWA utilizando React ou Vue, qual é a necessidade de um template engine dentro dessa aplicação?
Olha amigo não possuo muita experiencia com react, aqui onde trabalho usamos como template engine, o velocity e o handlebars(depende do projeto).
Usei react uma vez e não precisa usar essas tecnologias a mais, ele tem um esquema de web components e uma linguagem chamada jsx que mistura html, css e javascript para criar os componentes dai é so vc colocar os componentes na página.
também já usei thymeleaf e as famosas jsps como fazer templates de páginas htmls.
Porém nada disso é obrigatório é so uma ferramenta amais.