Crawler Web

Boa tarde, alguém da área .net aqui tem conhecimento para criar um crawler?

Estou com um cliente com essa necessidade e preciso de um programador que tenha o devido conhecimento.