Códigos de Indexação

Pessoal,

Dúvida, tentei pesquisar sobre como é realizado um codigo para fazer varreduras na web e indexar sites.

Tipo, google, yahoo, antigo cadê, bing… Como eh feito esses algoritmos? Como eles funcionam? Que linguagem são realizados?
Como eles entram nos diretorios dos sites e fazem a leitura?

Não consigo achar nada sob o assumto, acho que estou usando termos de pesquisa errado… Alguem pode ajudar?..

Obrigado.

Você precisa olhar o pai dos burros, ou seja, a velha e boa Wikipedia EM INGLÊS.

Escolha um artigo, aprenda os termos, e comece a procurar por eles.

Comece por esta página aqui, e vá seguindo as referências:

[quote=weder.vierra]Pessoal,

Dúvida, tentei pesquisar sobre como é realizado um codigo para fazer varreduras na web e indexar sites.

Tipo, google, yahoo, antigo cadê, bing… Como eh feito esses algoritmos? Como eles funcionam? Que linguagem são realizados?
Como eles entram nos diretorios dos sites e fazem a leitura?

Não consigo achar nada sob o assumto, acho que estou usando termos de pesquisa errado… Alguem pode ajudar?..

Obrigado.[/quote]

Eles funciona por combinação linear matricial. É simples conceptualmente, mas dificil de impelementar.

Procure por “How google search works” e verá que tem muito material. Procure tambem pelo Lucene que é a implementação de um algoritmo semelhante para vc poder usar no seu sistema e o Nutch que faz a mesma coisa que o google mas vc pode ter em casa ( se tivr máquina e espaço para isso :slight_smile: )

Obrigado entanglement!

Vou iniciar por essa pagina…

Se alguem souber de algumas outras fontes ou exemplos agradeceria muito!!!

Shooow de bolaa sergiotaborda!!!

Muito obrigado pelas dicas…

Se é o que entendi procura por, spider, web crawler ou robot.
Acho que devo ter isso, caso precise.
Mas é interessante pesquisa sobre o assunto.

Abraços.

Fica com DEUS.