site com muitos acessos, bancod e dados nao aguenta

Alô galera,

Seguinte meu site tem muitos acessos, eu usava o banco de dados para salvar as operaçoes feitas pelos usuarios porque quando tentei fazer com banco (e olhe q um boa estrutura) ele não aguentava, mudei para bloco de notas .txt onde cada usuario hoje gera um txt e nele fica as atividades feitas.

Bom agora meu apache não está suportando mais, e tipo com 4 mil pessoas fazendo atividade simutanea ele buga... e ai tenho que reiniciar o servidor.

Eu queria saber qual caminho tomar, se volto para o banco (mas como) ou se qual o outro passo a seguir,

tenho um servidor com 126 gigas de memoria e 32 nucleos de proc, hd todos ssd e 1gbps de conexao, o meu banco fica separado em uma infra igual, dentro do mesmo dantacenter