Responsivo Quebrando

Boa noite galera,

Estou desenvolvendo um site e eu estava fazendo o responsivo. Deixei ele fluido, utilizei EM e % e fiz com o seguintes pontos de quebras 768, 600, 480 e o max-width é 1020px.

Nos pontos de quebras fica tudo tranquilo, mas se eu fugir uns 5 pixels dos pontos de quebra ele começa a dar os problemas, em outras palavras só fica responsivo nos pontos de quebras se você fica redimensionando a janela do navegador vai ver que tem varios problemas.

Eu queria saber porque fica assim, se é pelo fato de eu esta utilizando absolute em alguns elementos ou não ou eu que estou fazendo errado mesmo.