Gestire il processo DI SAP CDC

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Dopo aver creato una pipeline e un flusso di dati di mapping in Azure Data Factory usando il connettore SAP CDC, è importante gestire il processo ETL in modo appropriato.

Eseguire una pipeline SAP di replica dei dati secondo una pianificazione ricorrente

Per eseguire una pipeline di replica dei dati SAP secondo una pianificazione ricorrente a intervalli specificati:

1. Creare un trigger periodico che esegue frequentemente la pipeline di replica dei dati SAP. Impostare Concorrenza massima su 1.

   Per ulteriori informazioni, vedere Creare un trigger che esegue una pipeline su un trigger periodico.

2. Aggiungere una dipendenza automatica dal trigger periodico in modo che un'esecuzione successiva della pipeline attenda sempre fino al completamento delle esecuzioni precedenti della pipeline.

   Per altre informazioni, vedere Creare una dipendenza del trigger periodico.

   

Monitorare i flussi di dati SAP CDC

Per monitorare lo stato e l'avanzamento di un flusso di dati SAP CDC in esecuzione, aprire lo strumento Monitor e selezionare l'esecuzione della tua pipeline. Selezionare l'icona Dettagli flusso di dati nella tabella delle attività nella parte inferiore della schermata.

Questo ti porta al monitor del flusso di dati. Facendo clic sull'icona di origine nel diagramma del flusso di dati nella parte superiore si aprirà la sezione di diagnostica dell'origine dei dettagli nella parte inferiore.

Il processo "SAP to stage subscriber" (non visualizzato per i caricamenti completi) aiuta a identificare il processo SAP CDC all'interno degli strumenti di monitoraggio del sistema sorgente SAP.

La sezione "SAP to stage", che viene aggiornata periodicamente mentre l'estrazione dal sistema di origine SAP è ancora in esecuzione, mostra lo stato di avanzamento del processo di estrazione.

Quando un'esecuzione del flusso di dati termina con successo, il monitor del flusso di dati visualizza informazioni dettagliate sul processo di estrazione da SAP. Oltre alle informazioni di runtime come l'ora di inizio e la durata, si trova anche il numero di righe copiate da SAP nella riga Righe copiate e il numero di righe passate dall'origine alla trasformazione successiva (in questo caso la trasformazione sink) nella riga Righe calcolate. Si noti che le righe calcolate possono essere inferiori a quelle delle righe copiate: dopo l'estrazione dei record di dati modificati dal sistema SAP, il flusso di dati esegue una deduplicazione delle righe modificate in base alla definizione della chiave. Solo il record più recente viene passato ulteriormente verso il basso nel flusso di dati.

Monitorare le estrazioni di dati nei sistemi SAP

Per monitorare le estrazioni di dati nei sistemi SAP:

1. Nello strumento SAP Logon del tuo sistema di origine SAP, esegui il codice di transazione ODQMON.

   

2. In Sottoscrittore, immettere il valore per la proprietà Nome Sottoscrittore del servizio collegato SAP CDC. Nell'elenco a discesa Richiedi selezione selezionare Tutto per visualizzare tutte le estrazioni di dati che usano il servizio collegato.

   

   È possibile visualizzare tutti i processi registrati degli abbonati nella coda operativa delta (ODQ). I processi del Sottoscrittore rappresentano le estrazioni di dati dal flusso di dati di mapping di Azure Data Factory che usano il servizio collegato SAP CDC. Per ogni sottoscrizione ODQ, è possibile esaminare i dettagli per visualizzare tutte le estrazioni complete e delta. Per ogni estrazione, è possibile visualizzare singoli pacchetti di dati utilizzati.

3. Quando i flussi di dati di mapping di Data Factory che estraggono i dati SAP non sono più necessari, è necessario eliminare le sottoscrizioni ODQ. Quando si eliminano le sottoscrizioni ODQ, i sistemi SAP possono interrompere il rilevamento degli stati di sottoscrizione e rimuovere i pacchetti di dati non utilizzati da ODQ. Per eliminare una sottoscrizione ODQ, selezionare la sottoscrizione e selezionare l'icona Elimina.

   

Risolvere i problemi relativi alle modifiche differenziali

Il connettore SAP CDC in Data Factory legge le modifiche delta dal framework SAP ODP. I delta vengono registrati nelle tabelle ODQ.

Negli scenari in cui lo spostamento dei dati funziona (i flussi di dati di mapping terminano senza errori), ma i dati non vengono recapitati correttamente (nessun dato o forse solo un subset dei dati previsti), è necessario prima controllare in ODQMON se il numero di record forniti sul lato SAP corrisponde al numero di righe trasferite da Data Factory. Se corrispondono, il problema non è correlato a Data Factory, ma probabilmente deriva da una configurazione errata o mancante sul lato SAP.

Risoluzione dei problemi tecnici in SAP tramite ODQMON

Per analizzare i dati forniti dal sistema SAP per lo scenario, avviare la transazione ODQMON nel sistema back-end SAP. Se si utilizza SAP Landscape Transformation Replication Server (SLT) su un server autonomo, avviare la transazione direttamente lì.

Per trovare gli ODQs che corrispondono ai flussi di dati di mapping, usare le opzioni di filtro. In Coda, è possibile usare caratteri jolly per restringere la ricerca. Ad esempio, è possibile cercare in base al nome della tabella EKKO.

Selezionare la casella di controllo Calcola volume di dati per visualizzare i dettagli sul numero di righe e volume di dati (in byte) contenuti negli ODQs.

Per visualizzare le sottoscrizioni ODQ, fare doppio clic sulla coda. Un ODQ può avere più sottoscrittori, quindi controllare il nome del sottoscrittore immesso nel servizio collegato Data Factory. Scegliere la sottoscrizione con un timestamp più simile al momento in cui è stato eseguito il flusso di dati di mapping. Per le sottoscrizioni delta, la prima esecuzione del flusso di dati di mappatura per la sottoscrizione viene registrata sul lato SAP.

Nella sottoscrizione, un elenco di richieste corrisponde al mapping delle esecuzioni del flusso di dati in Data Factory. Nella figura seguente viene visualizzato il risultato di quattro esecuzioni del flusso di dati di mapping:

In base al timestamp della prima riga, trovare la riga corrispondente all'esecuzione del mapping del flusso di dati da analizzare. Se il numero di righe visualizzate è uguale al numero di righe lette dal flusso di dati di mapping, è stato verificato che Data Factory abbia letto e trasferito i dati come fornito dal sistema SAP. In questo scenario è consigliabile rivolgersi al team responsabile del sistema SAP.

Contenuto correlato

Altre informazioni sui connettori SAP.