Bepalen of Spark gegevens herschrijft

Open eerst de SQL DAG voor uw schrijffase. Schuif omhoog naar de bovenkant van de pagina van de taak en klik op de gekoppelde SQL-query:

Je zou nu de DAG moeten zien. Als dat niet het geval is, schuift u even rond en ziet u het volgende:

Als u een bewerking Verwijderen of Bijwerken uitvoert, bekijkt u de hoeveelheid gegevens die door de schrijver worden geschreven en wat u verwacht. Als u ziet dat er veel meer gegevens worden geschreven dan verwacht, herschrijft u waarschijnlijk gegevens:

Als u een samenvoegbewerking uitvoert, bevat het samenvoegknooppunt expliciete statistieken over de hoeveelheid gegevens die worden herschreven.