Arquivo Discussoes de Programacao e Tecnologia 
Estava pensando em fazer um programa para “emular” um usuário logado e acessando determinado site.
O programa teria que autenticar no outro site e se manter na sessão enquanto pega páginas, parseia, envia dados por métodos GET ou POST, pega novas páginas de resultado, etc…
Ou seja, seria como um browser inteligente para um domínio específico que ao invés de mostrar as páginas para um usuário tomaria suas próprias decisões
Alguém tem idéias ou sugestões sobre o que utilizar?
Ja fiz algo do tipo faz um tempo:
Alguns links que tenho aqui:
http://www.searchtools.com/robots/robot-code.html
http://developer.java.sun.com/developer/technicalArticles//ThirdParty/WebCrawler/index.html
[]'s
Crawler eu sei fazer (argh, más lembranças do semestre passado fazendo crawler em C++). Minha dúvida maior é em relação a manter a sessão, já que eu vou estar trabalhando dentro de um ambiente autenticado.
E também tinha um restinho de esperança de encontrar uma API um pouco mais amigável mas que não fosse tão específica para crawlers como as que tem por aí.
Perfeito!
Era uma coisa assim mesmo que eu estava procurando 
