Pessoal,
ai vai a dica pra quem quer utilizar o geoserver no jboss 5.x
alguns jars tem conflito com o jboss e devem ser retirados da pasta WEB-INF/lib do arquivo gerserver.war
servlet-api.jar
xml-apis.jar
xml-apis-xerces.jar
xercesImpl.jar
depois é só fazer o deploy normalmente.
att,