Funcionar botão voltar na navegação AJAX com history.js

Olá, estou implementando em um site a navegação AJAX, basicamente porque preciso que os áudios executados no site continuem sendo executados mesmo com a navegação do visitante. Bom, eu implementei a leitura com o load() do jQuery e mais alguns resets para que as funções js que uso no site sejam recarregadas. Outra coisa que fiz foi usar o history.js, mais precisamente sua versão para jquery, a jquery.history.js. Essa função tem por intuito trocar o URL e criar entradas no histórico, na teoria era pra funcionar quando eu apertasse o botão voltar do navegador, mas a única coisa que acontece é que o navegador troca a URL na barra de endereço e o title da pagina, mas a pagina em si não volta para a anterior. Alguém pode dizer o que eu posso esta fazendo de errado? Segue abaixo parte do meu código:

function ajax () {
 $('article a, .wp_pagination a').on('click', function(e) {
 e.preventDefault();
 var path = $(this).attr('href');
 var title = $(this).attr('title');

 History.pushState('ajax',title,path);
 var State = History.getState();

 $('#carregar').fadeTo(200,.8);
 $('.status').css({'width' : '100%'}); /* Uma barra de status de navegação */

 $('body,html').animate({
 scrollTop: 0
 }, 400);

 $('#ajx').load( State.url + ' #carregar',
 function() {
 $('#carregar').fadeTo(200,1);
 $('.status').css({'width' : '0%'});
 nerdwars();
 ajax();
 comentar();
 });
 return false;
 });
}