Url

Estou desenvolvendo uma pesquisa sobre o Grafo da Web, que consiste em percorrer milhares de sites e então modela-los dentro de um grafo. Eu optei por utilizar java, no desenvolvimento de um crawler por ser mais simples quanto a conexão e download de paginas. Porém estou tendo um problema muito grande quando ao tempo que estou levando para efetuar esse download. Não sou um programador experiente em java, caso o tópico esteja na seção errada, peço aos moderadores que a movam para a correta. Caso alguem tenha alguma idéia de como posso otimizar o processo de download de uma página ficarei muito grato.

URL url = new URL(“http://”+link);

URLConnection urlConnection = url.openConnection();

urlConnection.setConnectTimeout(200);

urlConnection.setReadTimeout(200);

BufferedReader br = new BufferedReader(new InputStreamReader(urlConnection.getInputStream()));

ArrayList link_pagina = new ArrayList();

String linha;// = “”;

String[] ret = null;

System.err.println(“Download de:”"+link+""");

while((linha = br.readLine())!=null)

/* processamento da linha lida */