Validação client-side ou server-side

Ola amigos. Ja vi muitos posts e a duvida continua. Uma grande parte diz que deve ser feita os dois; tanto cliente quanto servidor. Porem ja li que o lado cliente não é totalmente seguro mas de contra partida o lado servidor com essas validações deixa a aplicação mais lenta?Alguém podia me esclarecer a forma correta e mais segura claro. Desde ja agradeço!