Identificación de una lectura costosa en el DAG de Spark

Acceso al DAG

Suponiendo que esté considerando un trabajo costoso, primero necesitamos el identificador de la fase que está realizando la lectura. Aquí podemos ver que el ID de etapa es 194.

Ahora necesitamos acceder al DAG de SQL. Desplácese hacia arriba hasta la parte superior de la página del trabajo y haga clic en la consulta SQL asociada:

Ahora debería ver el DAG. Si no es así, desplácese alrededor de un poco y debería verlo:

En algunos casos, puede seguir el DAG y ver de dónde proceden los datos. En otros casos, busque el id. de fase que anotó:

A continuación, debe buscar el nodo "Scan". En este caso, es bastante sencillo decir que estamos leyendo una tabla denominada transactions:

En algunos casos, es posible que tenga que hacer clic o revertir el nodo para obtener la ubicación de los datos que está leyendo.