Selecionar destinatário pelo phpmailer

Bom dia, tenho um formulário de e-mail que utilizo para envio a classe phpmailer, acontece que estou com uma duvida, tenho em meu forma uma caixa select que escolho de acordo com o departamento que a pessoa quer contato um e-mail de destino diferente, acontece que no phpmailer eu tenho que autenticar com usuário e senha para que chegue ao destino, e se eu uso um swicht para selecionar os destinatários de acordo com o departamento eu consigo fazer isso com o phpmailer em um único arquivo ao invés de fazer um script de envio autentica para cada área?

 

Estou usando assim o form. para envio mais queria que enviasse de acordo com o que pessoa escolhe no select do form.

 

<?php
require('mailer/class.phpmailer.php');

$nome =($_POST['nomeForm']);
$email = ($_POST['emailForm']);
$assunto = ($_POST['assuntoForm']);
$mensagem = ($_POST['mensagemForm']);

$mail = new PHPMailer();
$mail->IsSMTP();
$mail->SMTPAuth = true;
$mail->Port = 587;
$mail->Host = 'mail.uol.com.br';
$mail->Username = 'contato@uol.com.br';
$mail->Password = '****';
$mail->SetFrom('contato@ul.com.br');
$mail->AddAddress('contato@uol.com.br', 'Contato Site');
$mail->AddReplyTo($email,$nome);
$mail->Subject = $assunto;

$mail->MsgHTML("

Nome: ".$nome."<br />
Mensagem: ".$mensagem."<br />
");

if($mail->Send()){

echo "<script type='text/javascript'>

alert ('Mensagem enviada com sucesso!');

window.location = 'contato.html';

</script>" ;

}else {

echo $mail->ErrorInfo;
}
?>

Na verdade eu fiz assim, mas não funciona.

<?php
require('mailer/class.phpmailer.php');

$nome =($_POST['nomeForm']);
$email = ($_POST['emailForm']);
$assunto = ($_POST['assuntoForm']);
$mensagem = ($_POST['mensagemForm']);

$mail = new PHPMailer();
$mail->IsSMTP();
$mail->SMTPAuth = true;
$mail->Port = 587;
$mail->Host = 'mail.dominio.com.br';
$mail->Username = 'contato@dominio.com.br';
$mail->Password = '*****';
$mail->SetFrom('contato@dominio.com.br');
$mail->AddAddress('$departamento');
$mail->AddReplyTo($email,$nome);
$mail->Subject = $assunto;

$mail->MsgHTML("

Nome: ".$nome."<br />
Mensagem: ".$mensagem."<br />
");

switch($departamento)
{
case '1':

 $departamento = 'email1@dominio.com.br';
break;

case '2':

 $departamento = 'email2@dominio.com.br';
break;

case '3':

 $departamento = 'email3@dominio.com.br';
break;

}

if($mail->Send()){

echo "<script type='text/javascript'>

alert ('Mensagem enviada com sucesso!');

window.location = 'contato.html';

</script>" ;

}else {

echo $mail->ErrorInfo;
}
?>

Invalid address: Invalid address: You must provide at least one recipient email address. You must provide at least one recipient email address.