Ideias de comparação de preços

Olá pessoal, estou criando um site de comparação de preço e cheguei na parte mais difícil da ideia, a pergunta é: como pegar os produtos dos outros sites e colocar tudo dentro do banco que não seja cadastrando de um por um. Minha ideia seria criar um engine que sairia varrendo um site por vez e pegaria a pagina de cada produto, mas nesse caso o difícil não era identificar quando a pagina se tratava de um produto mais em si criar o engine que buscaria todas as urls do site.

Outra alternativa seria ler pagina por pagina, mas pegar url por url é quase que inviável pois tem lojas ai com milhares de produtos, mas nesse momento é minha unica alternativa, outra saída seria as lojas criarem um arquivo xml e o site ler igual ao buscapé, mas nesse caso atualmente nenhuma loja quer fornecer os produtos para uma loja que nem criada está.

Então queria ajuda de vocês ao menos para amadurecer minha ideia.