Problema ao gerar array bidimensional dinamicamente.

Boa noite pessoal!

Passei o dia hoje tentando gerar um array bidimensional dinamicamente e não to conseguindo, já testei de diversas formas mas sempre o mesmo resultado.

Na verdade quero adicionar pontos a um mapa (google maps) ai preciso preencher um array com descrição, latitude e longitude.

Se eu colocar ele estaitco, funciona. abaixo o exemplo:

[
['joao', -27.1473854, -48.5860981],
['pedro', -27.1473792, -48.5860866],
['jose', -27.1474019, -48.586126],
['lucas', -27.1473818, -48.5860942]

 ];

	porém quando gero via codigo da sempre o erro undefined, ao conferir o resultado no console, parece igual ao estatico mas nao funciona.

	Alguém pode me dar uma ajuda?

	abaixo meu código:

	 

function carregaPontos() {
	var pontos = [];
	$.ajax({
 method: "GET",
 url: "/mapa/pontosMapa/listar",
 success: function(response) {
 if (response.length > 0) {
 let rows = response.length;
 let columns = 3;

 // creating two-dimensional array
 for (let i = 0; i < rows; i++) {
 pontos[i] = [];
 for (let j = 0; j < columns; j++) {
 if (j === 0) {
 pontos[i][j] = response[i].operador;
 } else if (j === 1) {
 pontos[i][j] = parseFloat(response[i].latitude);
 } else if (j === 2) {
 pontos[i][j] = parseFloat(response[i].longitude);
 }

 }
 }
 console.log(pontos);
 return pontos;
 }
 },
 error: function(jqXHR) {
 alert('Erro ' + jqXHR.status + " Não foi possível carregar os pontos!");
 }
	})
}