problemas com confirm

Olá novamente, Estou tendo problemas em utilizar o confirm com PHP. Eu estou tentando fazer com que quando o usuário queira deletar alguma coisa no sistema eu axibo um confirm, caso clique em sim ele irá deletar e caso clique em cancelar ele retorna, acontece que clicando em qualquer um dos 2 ele está deletando. Alguém poderia me dar uma luz. Valeu!