Trabalhando com XMLs de codificações diferentes

Oi Pessoal.

Estou montando um serviço que tem um leitor generico de XML que vai processar XML’s de diversas codificações.
Basicamente estou usando o DocumentBuilder executando diversos xpath nos arquivos XML.

Gostaria de saber se tenho que me preocupar com a codificação dos arquivos

<?xml version="1.0" encoding="ISO-8859-1"?>
<?xml version="1.0" encoding="utf-8"?>

Valeu!