Código .htaccess não está funcionando para ocultar extensões de página

Pessoal... desde que eu migrei de uma hospedagem compartilhada, para os servidores da DigitalOcean, estou tendo vários problemas para ajustar, reconfigurar tudo!

Até o meu .htaccess que funcionava tudo perfeitamente não tá funcionando o código que oculta as extensões das páginas: .html e .php!

RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME}\.html -f
RewriteRule ^(.*)$ $1.html

Nesse caso acima, esse código deveria ocultar o ".html" das páginas, mas não está fazendo isso...

Eu tenho que colocar a extensão no final, se eu não colocar a extensão, dá erro 404 de página não encontrada! O que eu faço?