Validar Input File

Olá galera, estou com um pequeno problema em meu código, mas que está me tirando o sono. Fiz um sistema de upload de arquivo, que salva, entre outros dados, uma imagem no banco de dados. Quando recuperar esses dados para alteração, o usuário pode escolher alterar a imagem ou deixar a mesma imagem gravada no banco. Para fazer o clique do botão Alterar, estou fazendo dessa forma, mas eu não consigo fazer com que o if correto seja acionado:

if (isset($_FILES["imagem"])&& empty($_FILES['imagem'])) {
//Se o usuário escolheu uma imagem, grava a nova imagem que o usuário escolheu

} else {
//Senão, grava a mesma imagem que está no banco
}
Da maneira acima, ele sempre entra no else;

Já tentei assim:

if (isset($_FILES['imagem'])) {
//Se o usuário escolheu uma imagem, grava a nova imagem que o usuário escolheu

} else {
//Senão, grava a mesma imagem que está no banco
}
Da maneira acima, ele sempre entra no if;

E assim:

if (!empty($_FILES['imagem'])) {
//Se o usuário escolheu uma imagem, grava a nova imagem que o usuário escolheu

} else {
//Senão, grava a mesma imagem que está no banco
}
Da maneira acima, ele sempre entra no if;

Alguém tem alguma luz??? Obrigado