Cómo determinar si Spark está reescribiendo datos

Primero, abra el DAG de SQL para la fase de escritura. Desplácese hacia arriba hasta la parte superior de la página del trabajo y haga clic en la consulta SQL asociada:

Ahora debería ver el DAG. Si no es así, desplácese alrededor de un poco y debería verlo:

Si va a realizar una operación De eliminación o actualización, examine la cantidad de datos que escribe el escritor en comparación con lo que espera. Si observa que se registran muchos más datos de los esperados, es probable que esté regrabando datos.

Si va a realizar una combinación, el nodo de combinación tiene estadísticas explícitas sobre la cantidad de datos que se reescribirán.