Como fazer o DataTable ter uma resposta mais rápida

Ola pessoal tarde ou boa noite

É o seguinte tenho mais de 10 mil registro no banco de dados, no DATATABLE esta demorando um pouco para fazer o carregamento destas informações

o tempo varia entre 16 á 20, 25 segundos para obter uma resposta.

Queria que esta resposta pudessem ser mais rápida, se teria como claro ela ser mais rápida possível...

Fiz um novo teste quantidade de arquivos 1mil arquivos a resposta é bem rapida não demora nem 3 segundo

Estou usando via ajax e json

<script type="text/javascript">
 $(function () {
 $("#DataTableAjaxDT").DataTable({
 "pageLength": 20,
 "paging": true,
 "lengthChange": true,
 "ajax": "ajax/registros.php",
 "searching": true,
 "aLengthMenu": [ [5, 10, 15, 20, 25, 30, 35, -1], [5, 10, 15, 20, 25, 30, 35, "Todos"] ],
 "ordering": true,
 "info": true,
 "autoWidth": true,
 "columnDefs": [{
 "targets": 'no-sort',
 "orderable": false,
 }],
 "language": {
 "sEmptyTable": "Nenhum registro encontrado",
 "sInfo": "Mostrando de _START_ até _END_ de _TOTAL_ registros",
 "sInfoEmpty": "Mostrando 0 até 0 de 0 registros",
 "sInfoFiltered": "(Filtrados de _MAX_ registros)",
 "sInfoPostFix": "",
 "sInfoThousands": ".",
 "sLengthMenu": "Mostrar _MENU_ resultados por página",
 "sLoadingRecords": "Carregando...",
 "sProcessing": "Processando...",
 "sZeroRecords": "Nenhum registro encontrado",
 "sSearch": "Pesquisar",
 "oPaginate": {
 "sNext": "Próximo",
 "sPrevious": "Anterior",
 "sFirst": "Primeiro",
 "sLast": "Último"
 },
 "oAria": {
 "sSortAscending": ": Ordenar colunas de forma ascendente",
 "sSortDescending": ": Ordenar colunas de forma descendente"
 }
 }
 });
	});

</script>