Usar menu.php em todas páginas

Boa tarde pessoal, estou com um problema, tenho o seguinte menu

<div id='cssmenu'>
 <ul id="menu">
 <li class='active'><a href="home.php"><span>Home</span></a></li>
 <li><a href="eventos.php"><span>Eventos</span></a></li>
 <li><a href="agenda.php"><span>Agenda</span></a></li>
 <li><a href="chat/index.php" target="_blank"><span>Chat</span></a></li>
 <li><a href="contato/contato.php"><span>Contato</span></a></li>
 </ul>
 </div>

preciso chamar ele em todas minhas páginas porem a paginas que estão dentro de outras pasta

por exemplo o link contato/contato.php pois quando eu vou nele o menu é incluido nele com o include e ai se eu tento voltar ao home me da problema por causa do caminho como posso resolver isso?

obrigado