Um Web Crawler busca o que tá na WWW mesmo ou que está indexado em um

Estou pensando em desenvolver um trabalho sobre ferramentas de pesquisa. Confesso que sou iniciante e pouco sei sobre programação, mas sei que aqui terei as respostas que preciso pra este trabalho. Pesquisei sobre crawlers, web crawlers, bots e afins e muito se fala que eles "varrem" a World Wide Web atrás dos resultados para exibir, mas, confesso, que custo a acreditar porque me pergunto como eles fazem a indexação dos sites na internet? De forma automatizada? Por isso a pergunta acima. Agradeço a quem dispor de tempo pra me responder, valeu!