HttpSession

Achei o método removeValue porém às vezes ele funciona outras vezes não. Não há uma maneira de apagar uma sessão ?

session.invalidate()

Isso remove todos os objetos da sua sessão, senão vc vai ter que retirar um por um.
Espero ter ajudado.

[]'s

Adicionalmente, se se está trabalhando com cookies para auto-login, deve-se matar o cookie no navegador, reenviando-o com um setMaxAge(0) para evitar efeitos colaterais indesejáveis.