Encontrar diretórios com cabeçalho HTTP

Fala galera, estou criando(tentando) criar um pequeno script para encontrar os diretórios de um site,pensei no seguinte:

Fazer uma requisição para à pagina( ex: google.com.br/blog) e analisar oque o cabeçalho HTTP trouxe para mim, se for 200/302 está ok, caso for diferente o diretório não existe, mas existe um pequeno problema, a url google.com.br/blogs tbm pode ser um arquivo por exemplo o "blog.php" como posso diferenciar arquivos de diretórios?
Obrigado :D