not exists

Olá, estou com alguns problemas para usar o NOT EXISTS:

Tenho dois db "produtos" e "produtosFornecedores" que contém as seguintes tabelas:

"produtos"

id (INT)

produto (VARCHAR)

"produtosFornecedores"

id (INT)

idProduto (INT)

idFornecedor (INT)

data (date)

Eu preciso relacionar produtos a um fornecedor, mas queria eliminar os produtos que já estão relacionados então tentei:

SELECT id,UPPER(produto) as produtoU FROM produtos WHERE NOT EXISTS (SELECT * FROM produtosFornecedores WHERE produtos.id = idProduto AND produtosFornecedores.idFornecedor = '$idFornecedor')

Que em meus teste funciona só que a consulta está muita lenta demorando quase 1 minuto para mostra os que não estão relacionados.

Será que está correto, ou existe outra forma?