Olá, estou com o seguinte problema. Estou utilizando a biblioteca Jsoup para manipular paginas HTML e criar um Web Crawler. A captura do conteudo eu consegui implementar sem problemas, o problema é que o conteudo que pretendo capturar é resultado de uma busca realizada em um site, este site me retorna este resultado em páginas e a mudança de paginas é feita utilizando javascript, assim eu tenho acesso ao conteudo da 1ª página, mas não consigo fazer a mudança da pagina para capturar as seguintes. Quando clico no link para alternar entre as paginas, a URL da busca vira um index.php.
Alguem tem alguma ideia de como posso obter as outras páginas??
[quote=Bruno Laturner]Sempre para buscar uma página na web você usa um HTTP GET ou HTTP POST para enviar a url e os parâmetros para o servidor desta busca.
Você poderia descobrir quais são esses parâmetros, e fazer da mesma forma.[/quote]
O problema é esse, saber como ele realiza o POST no servidor para que o mesmo entregue a pagina renderizada.
Muito obrigado pela dica Bruno, usei o HTTOFox e descobri como é feito o post no servidor, não preciso nem trocar de pagina mais, faço uma requisição e o server ja me manda uma pagina renderizada com todos os resultados.