Alguem sabe o algoritmo ou a ideia???
o google fala do agente crawler… é possivel encontrar textos em portugues até!
Mas vc sabe a ideia de como implementar seu algoritmo???
O projeto Nutch é opensource, acredito que dá pra dar uma espiada.
Se der uma googlada em pagerank, pode encontrar materiais como esse: http://www.ra.ethz.ch/CDstore/www2002/poster/173.pdf
Abraço e boa sorte 
Valeu Brigadão!!!