como exibir dados em tabelas com informações de chave estrangeira?

Bom vamos lá, tenho um banco de dados com duas tabelas...

TABELA PRODUTOS

/monthly_2017_02/tbl_produtos.jpg.001281641afe9328184e23c5577dfddf.jpg" />

TABELA CATEGORIAS

/monthly_2017_02/tbl_categorias.jpg.52f4fd6604a3d14ce63915d2fb41277a.jpg" />

No projeto pede pra exibir os dados da TABELA PRODUTOS em uma tabela no html.

Bom até ai consegui tudo certin, tem um detalhe que não estou conseguindo, como vocês podem percebe nessa LISTA DE LIVROS no campo Categoria aparece só 2 no caso o número. porque é uma chave estrangeira que ta na TABELA PRODUTOS (categoria_id), o problema é não quero exibir em numero com 2, quero mostra em nome que no caso na TABELA CATEGORIA o id 2 equivale a Ciência exatas, só que essa informação não é da TABELA PRODUTOS e sim da TABELA CATEGORIA, como faço pra exibir ao inves do número o nome da Categoria?

CÓDIGO PARA EXIBIR LISTA DE LIVRO

<table class="table table-striped">
 <tr>
 <th>ID</th>
 <th>Nome</th>
 <th>Preço</th>
 <th>Usado</th>
 <th>Categoria</th>
 <th>Alterar</th>
 <th>Excluir</th>
 </tr>
 <?php
 $vetor_livros=listarLivros($conexao);
 //passeando pelo vetor do banco de dados
 foreach ($vetor_livros as $livro) {
 ?>
 <tr>
 <td><?=$livro['id']?></td>
 <td><?=$livro['nome']?></td>
 <td><?=$livro['preco']?></td>
 <td>
 <?php
 if($livro['usado']==1){
 ?>
 <input type="checkbox" disabled checked></td>
 <?php
 }else{
 ?>
 <input type="checkbox" disabled></td>
 <?php
 }
 ?>

 <td><?=$livro['categoria_id']?></td>
 <td>

	 

	 

	**FUNÇÃO QUE USO NO listaLivro **

function listarLivros($conexao){

 $vetor_livros=array();
 $query="select * from produtos";

 $resultado=mysqli_query($conexao,$query);

 //Estrutura de repetição para armazenar os resultados da consulta
 while($livro=mysqli_fetch_assoc($resultado)){
 //Pega a variável e armazena no vetor
 array_push($vetor_livros, $livro);
 }

 return $vetor_livros;
}