O qto refazer site inteiro pode prejudicar a relevancia no Google?

Eu gostaria de refazer todo o meu site, incluindo organização em pastas dos arquivos.

A unica coisa que permaneceria no mesmo lugar seria a index.

Eu imagino que minhas páginas existentes vão perder suas posições.

Queria saber se vocês acham que vale a pena então refazer tudo de uma maneira bem mais correta e otimizada mesmo que eu perca minha posicao atual, ou se é melhor tenta manter essa estrutura (desorganizada) e só tentar melhorar o SEO?