Identification d'une opération de lecture coûteuse dans le DAG de Spark

Accès au DAG

En supposant que vous examinez un travail coûteux, nous avons d’abord besoin de l’ID de la phase qui effectue la lecture. Ici, nous pouvons voir que l’ID d’étape est 194 :

Nous devons maintenant accéder au DAG SQL. Faites défiler vers le haut de la page du travail, puis cliquez sur la requête SQL associée :

Vous devez maintenant voir le DAG. Si ce n’est pas le cas, faites défiler un peu et vous devriez le voir :

Dans certains cas, vous pouvez suivre le DAG et voir où proviennent les données. Dans d’autres cas, recherchez l’ID de l’index que vous avez noté :

Vous devez ensuite rechercher le nœud « Scan ». Dans ce cas, il est assez simple de dire que nous lisons une table nommée transactions:

Dans certains cas, vous devrez peut-être cliquer ou survoler le nœud pour trouver l’emplacement des données que vous lisez.