O que pode está acontecendo?

Olá pessoal, estou praticando lógica de programação e utilizando php para visualizar os resultados. As vezes eu monto os problemas rapidinho, outros demoram horas mas consigo resolver, porém esse desde ontem estou achando um pouco complicado, observem o exercício:

Faça um programa para ler uma matriz A de duas dimensões com 5 linhas e 4 colunas. Construir uma matriz
B de mesma dimensão, onde cada elemento da matriz B deverá ser o fatorial de cada elemento correspondente
da matriz A . Apresentar ao final as matrizes A e B.

O fatorial está calculando certinho, o problema mesmo é na hora de colocar o valor dele na matriz, por exemplo, na primeira linha está funcionando normal, ou seja de b[0][0] até b[0][3] está mostrando os fatorias, porém de b[1][0] até b[1][3] ou b[2][0] até a quarta linha e ultima coluna não está, olha o código em php:

<?php
 ini_set("default_charset", "utf-8");

 $a = array();
 $b = array();

 for($i=0;$i<=4;$i++){
 for($y=0;$y<=3;$y++){
 $g = rand(1,10);
 $a[$i][$y] = $g;
 }
 }

 $controle = 1;
 $col = 0;
 $lin = 0;
 $l = 0;

 while($controle!=0 && $l<=19){
 $fatorial = 1;
 for($x=$a[$lin][$col];$x>=1;$x--){
 $fatorial *= $x;
 if($x==1){
 $b[$lin][$col] = $fatorial;
 if($col==3){
 $col = 0;
 $col += 1;
 }else{
 $col += 1;
 }
 $controle = 1;
 }else{
 $controle = 0;
 }
 }
 $l++;
 }

 echo $b[1][0]

 ?>
Esse **echo $b[1][0] **só coloquei para testar mesmo, pois o certo é imprimir todas a matriz. Já dei um print_r e verifiquei que apenas a primeira linha e coluna de 0 a 3 estão sendo criadas. O que pode está acontecendo?