Site de Busca

Boa noite estou desenvolvendo um trabalho para faculdade e quero saber como eu faço para pesquisar na web como faz o google, alguem sabe me informar como funciona, que tipo de comando usar, algo assim, pois estou pesquisando na net e não achei nada até o momento.

Há inúmeros assuntos relacionados a uma “pesquisa na web”

Normalmente um site de busca usa um Motor de busca em conjunto com outros componentes sendo um deles o Web crawler. Um passo importante é organizar as informações para poder recuperá-las tardiamente.

Se foi isso que perguntou os links acima podem te dar uma “boa ideia” do que é e como funciona um site que “pesquisa e te dá retornos da web”.

Quando estava estudando sobre isso o lucene, um framework incrível de “busca textual” (na verdade é muito além disso) ajudou muito no entendimento geral disso.

Há também um textos na forma de How stuffs works:
Como os motores de busca funcionam.
Como o Google funciona.
Resumidamente em uma figura