Pessoal, estou com um sistema que lê umas páginas para capturar algumas informações. Estou usando o Jsoup aqui pela facilidade que tive com ele.
Em qualquer outro endereço, eu consigo a página html de boa, mas neste aqui estou com problemas. Ele me retorna apenas uma página vazia, com um meta refresh para o mesmo endereço. Se colar o endereço num browser ele funciona normalmente.
Tentei setar o referrer, user agent e seguir o meta refresh, mas sem sucesso até agora
O código está abaixo, e o link é http://www.kabum.com.br/cgi-local/kabum3/produtos/descricao.cgi?id=01:02:23:55:159
Document doc;
String url = "http://www.kabum.com.br/cgi-local/kabum3/produtos/descricao.cgi?id=01:02:23:55:159";
try {
String ua = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:12.0) Gecko/20100101 Firefox/12.0";
String referrer = "http://www.google.com";
doc = Jsoup.connect(url).timeout(20000).userAgent(ua).referrer(referrer).get();
Elements meta = doc.select("html head meta");
for (Iterator<Element> it = meta.iterator(); it.hasNext();) {
Element element = it.next();
if (element.attr("http-equiv").matches("refresh")) {
String novaUrl = element.attr("content").replaceFirst("\\d?;url=", "");
System.out.printf("redirecting to %s%n", novaUrl);
doc = Jsoup.connect(novaUrl).userAgent(ua).referrer(referrer).get();
break;
}
}
} catch (IOException ex) {
Logger.getLogger(Teste1.class.getName()).log(Level.SEVERE, null, ex);
return;
}
System.out.println(doc);
Alguém já passou por algo assim ou tem alguma dica para mim? Tentei também ver se tinha algum cookie de sessão, mas não sei se fiz corretamente.
Obrigado antecipadamente galera