Api para leitura de html

28 de setembro de 2011 2 respostas

gandja99 28 de setembro de 2011

Pessoal,

Estou desenvolvendo um aplicativo que lê informações de um website, filtra o que é importante e apresenta ao usuário só o que é interessante para ele, para isso estou usando o HttpClient do appache e tenho algumas dúvidas:

1 - Existem sites que retornam o conteúdo html e outros que não retornam, por que isso acontece? Tem alguma forma de pegar o html de qualquer site? No exemplo abaixo se eu passo a url do google o length retornado é -1, se eu passo a url do terra funciona. Tem solução?

public static void main(String aRGS[]) throws Exception {
        HttpClient client;
        client = new DefaultHttpClient();
        HttpGet get = new HttpGet("http://www.terra.com.br");
        HttpResponse resp = client.execute(get);
        HttpEntity entity = resp.getEntity();
        if (entity != null) {
            long len = entity.getContentLength();
            System.out.println(len);
            if (len != -1) {
                System.out.println(EntityUtils.toString(entity));
            } else {

            }

        }

    }

2- Em .Net existe uma api que organiza o html que estou trabalhando no código, de forma que eu possa navegar nele hierarquicamente. Tipo, eu posso pegar uma div, separar em um objeto para depois trabalhar com um universo menor de informações. Em Java tem algo parecido?

2 Respostas

alissonvla 28 de set. de 2011

cara,

nesse link segue alguns framework para fazer isso http://java-source.net/open-source/html-parsers , so nao sei te falar qual é o melhor.

kiko_lp_St_jimmy 28 de set. de 2011

Tenta esse exemplo aqui pra pegar o html, testei com o google e funcionou.

import java.io.BufferedReader;
import java.io.IOException;
import java.io.InputStreamReader;
import java.net.URI;
import org.apache.http.HttpResponse;
import org.apache.http.client.HttpClient;
import org.apache.http.client.methods.HttpGet;
import org.apache.http.impl.client.DefaultHttpClient;
public class TestHttpGet {
    public void executeHttpGet() throws Exception {
        BufferedReader in = null;
        try {
            HttpClient client = new DefaultHttpClient();
            HttpGet request = new HttpGet();
            request.setURI(new URI("http://www.google.com.br/"));
            HttpResponse response = client.execute(request);
            in = new BufferedReader
            (new InputStreamReader(response.getEntity().getContent()));
            StringBuffer sb = new StringBuffer("");
            String line = "";
            String NL = System.getProperty("line.separator");
            while ((line = in.readLine()) != null) {
                sb.append(line + NL);
            }
            in.close();
            String page = sb.toString();
            System.out.println(page);
            } finally {
            if (in != null) {
                try {
                    in.close();
                    } catch (IOException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    
    public static void main(String[] args) throws Exception {
    	TestHttpGet teste = new TestHttpGet();
    	teste.executeHttpGet();
	}
}

Criado 28 de setembro de 2011

Ultima resposta 28 de set. de 2011

Respostas 2

Participantes 3

2 Respostas

Topicos relacionados