Criação de Histórico de tabela de Dados

Oi gente,

Eu tenho uma tabela no banco de dados do snowflake que é atualizada por um flat file que é atualizado a cada quinze dias; Sempre que os dados são atualizados nesse flat file ele sobrescreve as informações anteriores e assim não temos histórico dos dados que estavam no banco antes da ultima atualização, isso esta causando uma dor de cabeça por que sempre que ocorre algum erro não temos como voltar para o resultado anterior e o flat file tem que ser refeito por algum analista.

As configurações do banco de dados foram feitas em Sql, enquanto o esquema que rodam para jogar as informações do flat file para a tabela do banco esta em python.

Eu acabei de chegar a essa área e herdei essa criança e tenho pensado em como resolve-lo e criar uma nova tabela que não sobrescreva mas sim empilhe as informações, porem existe uma grande pegadinha nesse processo, esse flat file é atualizado muitas vezes até que ele chegue a sua "versão final" que é utilizada para o fechamento, esse fechamento que não acontece sempre no mesmo dia. Para que o histórico seja confiável ele não pode empilhar os dados toda vez que atualizarmos, apenas quando realmente for fechado.

Vocês conseguem me ajudar? O que devo fazer? Criar um fluxo com algum trigger? mudar a forma que o flat file é alimentado?

Me ajudem a enxergar algum caminho para resolver o que foi criado antes da minha chegada

Desde já agradeço,

Um beijo e um queijo.

Ju