Identificando uma leitura custosa no DAG do Spark

Chegando ao DAG

Supondo que você esteja considerando um projeto dispendioso, primeiro precisamos do ID da etapa que está realizando a leitura. Aqui podemos ver que a ID do estágio é 194:

Agora precisamos acessar o DAG do SQL. Role até a parte superior da página do trabalho e clique na Consulta SQL Associada:

Agora você deve ver o DAG. Caso contrário, role um pouco e você deverá vê-lo:

Em alguns casos, você pode seguir o DAG e ver de onde os dados estão vindo. Em outros casos, procure a ID de Estágio que você anotou:

Em seguida, você precisa procurar o nó "Escanear". Nesse caso, é muito simples dizer que estamos lendo uma tabela chamada transactions:

Em alguns casos, talvez seja necessário clicar ou passar o mouse sobre o nó para obter a localização dos dados que você está lendo.