Gerar números aleatórios

Olá pessoal

Estou precisando de uma função que gere números aleatórios da seguinte maneira:

Tenho uma variável $numero contendo o número 3.

preciso criar uma lista de número aleatórios entre 1 e 5 com exceção do número 3. Segue abaixo como deve ficar a lista após retirar o número 3.

• 1
• 5
• 2
• 4

Espero que tenha dado para entender...