Aumentar o uso da memória para um arquivo específico

Olá pessoal.

Tenho no site um relatório muito pesado porque exporta para excel mais de 50mil clientes.

O problema é: para conseguir emitir o relatório foi necessário utilizar o seguinte:

ini_set('memory_limit','512M');
Aumentei para 512 mb a utilização da memória para o script que gera o relatório.

A minha preocupação é, existem mais de 150 utilizadores que podem emitir esse relatório, o problema é que isso pode derrubar o servidor pelo fato de aumantar o limite da utilização da memória.

Como resolver o problema?

Obrigado.