boa tarde amigo tudo bem?
bom, tu já tentou usar o método removeAttribute( STRING ) da classe Session?
No teu servlet
req.getSession.removeAttribute( NOME DO ATRIBUTO );
no teu JSP, tu pode fazer da seguinte maneira (há várias hehe)
<c:set var="NOME DO ATRIBUTO" scope="session" value="" />
Quando usamos JSTL e atribuímos um valor nulo ao atributo, ele é automaticamente removido
caso você queria usar linguagem de script
<% request.getSession.removeAttribute( NOME DO ATRIBUTO ) %>
também você pode usar o nosso simpático amigo EL
${ sessionScope.NOME DA TUA VAR = null }
ou
${ sessionScope.["NOME DA TUA VAR"] = null }
Mas o melhor jeito que, particularmente, acho é esse
<c:remove var="NOME DA TUA VAR" scope="session"/>
Espero ter ajudado 