Validação de Arquivo de UPLOAD

Olá Pessoal...

Tenho um Sistema que faz o Upload de arquivos, para constar: NÃO SÃO IMAGENS, então quero fazer a verificação se o arquivo realmente é o verdadeiro e evitar Invasão pelo upload..

Ao fazer um teste liberando a extensão para imagens, após liberar a extensão ".jpg" para testes Peguei um arquivo HTML e salvei como ."jpg", ao fazer o upload ele ACEITA esse arquivo como se fosse uma Imagem, e até mesmo utilizando o ( ($_FILES['arquivo']['type'] ) ele mostra como sendo image/jpg, sendo que na verdade é um arquivo HTML mascarado a extensão em jpg...

A Pergunta: Como validar de Forma Segura, pois quero utilizar para dois casos o upload, ambos 1 em cada momento, nesse caso uma extensão para um upload de arquivos PDF, e outro caso para extensão .PFX para certificados de nota eletronica...

Aguarda a colaboração dos expert's...