Diretórios de mais pode prejudicar desempenho?

Cavalheiros, a pergunta é bastante genérica e eu não encontrei outra área mais viável que o Off-Topic.

Pois bem, cá estou eu para perguntar: diretórios de mais em um projeto - independente da linguagem - pode prejudicar ou comprometer o desempenho da aplicação e/ou da máquina? Se sim, por quê?