Erros no código!

estou tendo uns problemas no meu código:
a intensão eh a seguinte,
abrir uma determinada URL, salvar num arquivo, localizar as URLs dentro desse site, abri-los e salvar dentro do mesmo arquivo
e assim por diante, ate chegar a 100.000 arquivos (detalhe, salvando em arquivos separados de 50 mb)
mas alguns sites não abrem, alguns arquivos não são salvos…
alguem tem alguma dica ae?
grato galera… detalhe, o trabalho está no inicio!