uso de memoria de servidor esta muito alta!

tenho um server 2003 aqui com 3.2 de processador e 512 mb....pra um servidor é poca coisa mesmo eu sei,mas ele não carrega muitos dados,o problema é que ele tem ficado lento e o uso de paginação de memoria dele esta em 1,57GB ,eu peguei este servidor de outro funcionario,e creio que ele tenha posto para fazer Swap,gostaria de saber quais possiveis causas esta fazendo com que ele atinja esses numeros,e o que pode ser feito para corrigir isto.