Spark Batch - Get Spark Batch Jobs

Serviço:
Synapse
Versão da API:
2020-12-01

Liste todos os trabalhos do lote do Spark que estão em execução em um pool específico do Spark.

GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches
Com parâmetros opcionais: 
GET {endpoint}/livyApi/versions/{livyApiVersion}/sparkPools/{sparkPoolName}/batches?from={from}&size={size}&detailed={detailed}

Parâmetros de URI

Nome Em Obrigatório Tipo Description
endpoint
 path True

string

O ponto de extremidade de desenvolvimento do workspace, por exemplo, https://myworkspace.dev.azuresynapse.net.
livyApiVersion
 path True

string

Versão de API válida para a solicitação.
sparkPoolName
 path True

string

Nome do pool do Spark.
detailed
 query

boolean

Parâmetro de consulta opcional que especifica se a resposta detalhada é retornada além do livy sem formatação.
from
 query

integer (int32)

Parâmetro opcional que especifica de qual índice a lista deve começar.
size
 query

integer (int32)

Parâmetro opcional que especifica o tamanho da lista retornada.

        By default it is 20 and that is the maximum.

Respostas

Nome Tipo Description
200 OK

SparkBatchJobCollection

Êxito

Exemplos

List all spark batch jobs

Solicitação de exemplo

GET myWorkspace.dev.azuresynapse.net/livyApi/versions/2020-12-01/sparkPools/mySparkPool/batches?from=0&size=2&detailed=True

Resposta de exemplo

Código de status:
200 
{
  "from": 0,
  "total": 2,
  "sessions": []
}

Definições

Nome Description
LivyStates

O estado do lote
PluginCurrentState
SchedulerCurrentState
SparkBatchJob
SparkBatchJobCollection

Resposta para a operação de lista em lotes.
SparkBatchJobResultType

O resultado do trabalho em lote do Spark.
SparkBatchJobState
SparkErrorSource
SparkJobType

O tipo de trabalho.
SparkRequest
SparkScheduler
SparkServiceError
SparkServicePlugin

LivyStates

Enumeração

O estado do lote

Valor Description
not_started
starting
idle
busy
shutting_down
error
dead
killed
success
running
recovering

PluginCurrentState

Enumeração
Valor Description
Preparation
ResourceAcquisition
Queued
Submission
Monitoring
Cleanup
Ended

SchedulerCurrentState

Enumeração
Valor Description
Queued
Scheduled
Ended

SparkBatchJob

Objeto
Nome Tipo Description
appId

string

A ID do aplicativo desta sessão
appInfo

object

As informações detalhadas do aplicativo.
artifactId

string

O identificador do artefato.
errorInfo

SparkServiceError[]

As informações de erro.
id

integer (int32)

A ID da sessão.
jobType

SparkJobType

O tipo de trabalho.
livyInfo

SparkBatchJobState

log

string[]

As linhas de log.
name

string

O nome do lote.
pluginInfo

SparkServicePlugin

As informações do plug-in.
result

SparkBatchJobResultType

O resultado do trabalho em lote do Spark.
schedulerInfo

SparkScheduler

As informações do agendador.
sparkPoolName

string

O nome do pool do Spark.
state

LivyStates

O estado do lote
submitterId

string

O identificador do remetente.
submitterName

string

O nome do remetente.
tags

object

As marcas.
workspaceName

string

O nome do workspace.

SparkBatchJobCollection

Objeto

Resposta para a operação de lista em lotes.

Nome Tipo Description
from

integer (int32)

O índice inicial das sessões buscadas.
sessions

SparkBatchJob[]

Lista de lotes
total

integer (int32)

Número de sessões buscadas.

SparkBatchJobResultType

Enumeração

O resultado do trabalho em lote do Spark.

Valor Description
Uncertain
Succeeded
Failed
Cancelled

SparkBatchJobState

Objeto
Nome Tipo Description
currentState

string

o estado do trabalho do Spark.
deadAt

string (date-time)

tempo em que o estado livy "morto" foi visto pela primeira vez.
jobCreationRequest

SparkRequest

killedAt

string (date-time)

o momento em que "matou" o estado livy foi visto pela primeira vez.
notStartedAt

string (date-time)

o momento em que "not_started" estado livy foi visto pela primeira vez.
recoveringAt

string (date-time)

o momento em que "recuperando" o estado livy foi visto pela primeira vez.
runningAt

string (date-time)

o tempo em que o estado livy "em execução" foi visto pela primeira vez.
startingAt

string (date-time)

o momento em que "iniciando" estado livy foi visto pela primeira vez.
successAt

string (date-time)

o tempo em que "sucesso" estado livy foi visto pela primeira vez.

SparkErrorSource

Enumeração
Valor Description
System
User
Unknown
Dependency

SparkJobType

Enumeração

O tipo de trabalho.

Valor Description
SparkBatch
SparkSession

SparkRequest

Objeto
Nome Tipo Description
archives

string[]

args

string[]

className

string

conf

object

driverCores

integer (int32)

driverMemory

string

executorCores

integer (int32)

executorMemory

string

file

string

files

string[]

jars

string[]

name

string

numExecutors

integer (int32)

pyFiles

string[]

SparkScheduler

Objeto
Nome Tipo Description
cancellationRequestedAt

string (date-time)

currentState

SchedulerCurrentState

endedAt

string (date-time)

scheduledAt

string (date-time)

submittedAt

string (date-time)

SparkServiceError

Objeto
Nome Tipo Description
errorCode

string

message

string

source

SparkErrorSource

SparkServicePlugin

Objeto
Nome Tipo Description
cleanupStartedAt

string (date-time)

currentState

PluginCurrentState

monitoringStartedAt

string (date-time)

preparationStartedAt

string (date-time)

resourceAcquisitionStartedAt

string (date-time)

submissionStartedAt

string (date-time)