Extração de dados WEB

Você tem uma lista de sites onde deseja comparar os dados ou precisa fazer uma varredura na web?

Isso me cheira a webservices ou API proprias, como a Amazon disponibiliza uma para Java.
Fora isso, não faço a menor idéia.

Abraços.

Como é essa história de API da Amazon???

Vc vai ter que usar as classes de Http alem de fazer parse no html.

Mesmo que teoricamente falando, como eu faço para iniciar a varredura web?

Ler o HTML de uma determinada URL eu já sei como fazer, não sei como varrer a web…

eu tenho uma lista de sites fixos…me falaram pra usar um crawler ja mas q ele iria fazer a busca de dados mas eu num entendi nada sobre esse negocio

A amazon disponibiliza em seu SDK API para comunicação com seu banco de dados.
Lá, você possui métodos que buscam informações sobre produtos deles.

Com certeza há mais sites (empresas) que fornecem esse tipo de API.
Mas é que como nunca trabalhei com a necessidade citada aqui, apenas dei uma idéia.

Abraços.

Bom se os sites que eu preciso verificar fornecessem uma api ou algum xml ou qq outra coisa pra que eu tivesse um acesso facilitado seria uma coisa mais simples, mas não é o caso, na verdade esses sites não fornecem eu até ja cheguei a converssar com o dono de um desses sites mas eles dizem q para isso eles cobrariam um valor ( q é muito alto pelo valor das informações que preciso obter).

Faça um crawler. Com Ruby + HPricot isso é mais fácil que tirar doce de criança rsrs

Quais são os endereços dos sites? Se passar, posso ajudá-lo.

Procure por “parse html java” no google

Eu dei uma olhada na classe parse, mas pelo que entendi isso seria bem util para eu fazer a analise de um arquivo xml que contivesse as informações, o que não é o caso pois eu não possuo o arquivo xml, eu preciso mesmo é entrar no site e procurar pelos dados dentro da pagina.

Com a classe parse da pra fazer isso? Eu não encontrei um meio.