Retirar item de um array

Pessoal, tenho uma imagem que contem vários números..

1,2,3,4,5 ....

a medida que vou clicando nos números esses são "adicionados" a um textbox apenas para visualização...ficando:

se clicar no 1

se clicar no 4

se clicar no 2

valor do textbox = 1;4;2

separando os números por ponto e vírgula. No entanto se eu quiser "retirar" o número [ 1 ] dessa seleção, como faço?

pois se clicar novamente no número [ 1 ] o textbox ficara com o valor [ 1; 2; 4; 1 ]

sendo que o valor deveria ser... [ 2; 4 ]