Listando Fotos em PHP por categoria

Galera, meu problema é o seguinte... eu gostaria de ler as imagens que possuo no banco e lista-las em diferentes <div> de acordo com a categoria.
No banco a tabela está dessa forma:

tabela_imagem
id_foto
foto
id_categoria (foreign key)

e quando eu faço um select simples no banco elas aparecem assim:

1 | imagem_1 | categoria_1
2 | imagem_2 | categoria_2
3 | imagem_3 | categoria_3
4 | imagem_4 | categoria_1
5 | imagem_5 | categoria_1

e quero que aos lista-las fiquem assim:

<div class='categoria_1' > imagem_1, imagem_4, imagem_5 </div>
<div class='categoria_2' > imagem_2 </div>
<div class='categoria_3' > imagem_3 </div>

do{

....

}while($row= mysqli_fetch_array($query));
e não consigo listar como desejo, pois como repete, a cada leitura são criadas novas <div> para cada imagem, ficando assim:

<div class='categoria_1' > imagem_1 </div>
<div class='categoria_2' > imagem_2 </div>
<div class='categoria_3' > imagem_3 </div>
<div class='categoria_1' > imagem_4 </div>
<div class='categoria_1' > imagem_5 </div>