Como determinar se o Spark está reescrevendo dados

Primeiro, abra o DAG SQL para a etapa de gravação. Role até a parte superior da página do trabalho e clique na Consulta SQL Associada:

Agora você deve ver o DAG. Caso contrário, role um pouco e você deverá vê-lo:

Se você estiver realizando uma operação de exclusão ou atualização, observe a quantidade de dados sendo gravados em comparação com o que você esperava. Se você estiver vendo muito mais dados sendo gravados do que o esperado, provavelmente está reescrevendo dados:

Se você estiver fazendo uma mesclagem, o nó de mesclagem terá estatísticas explícitas sobre a quantidade de dados que está reescrevendo.