Qual a melhor prática para evitar o erro Too many connections?

Esses dias no meu site eu não conseguia acessar porque o sistema estava me dando o erro Too many connections

Pesquisando sobre o assunto, verifiquei que provavelmente havia 100 pessoas utilizando o banco.

O MySql só aceita 100 conexoes simultaneas? E se meu site tiver acesso de 100 mil usuários, acessando o banco ao mesmo tempo?