[RESOLVIDO] Crawler - Listagem de todas as URLS

Salve galera.

Alguem sabe uma maneira de listar todas as urls de um site:

Ex: se no google eu utilizar a técnica:

site:http://meusite.com.br/

Ele vai listar varias paginas indexadas.

Queria isto de uma maneira mais agressiva / automatizada.

Seria para entender melhor a estrutura do site.

Abraços.