Copiare dati da SAP Business Warehouse con Azure Data Factory o Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Questo articolo illustra come usare le pipeline di Azure Data Factory o Synapse Analytics per copiare dati da SAP Business Warehouse (BW) tramite Open Hub in Azure Data Lake Storage Gen2. È possibile usare un processo simile per copiare dati in altri archivi dati sink supportati.

Prerequisiti

• Azure Data Factory o workspace Synapse: se non ne hai uno, segui la procedura per creare una data factory o creare un workspace Synapse.

• SAP BW Open Hub Destination (OHD) con tipo di destinazione "Tabella di database": per creare un OHD o per verificare che l'OHD sia configurato correttamente per l'integrazione con il servizio, consultare la sezione Configurazioni di SAP BW Open Hub Destination di questo articolo.

• L'utente SAP BW necessita delle autorizzazioni seguenti:

  • Autorizzazione per chiamate di funzione remote (RFC) e SAP BW.
  • Le autorizzazioni per l'attività "Esegui" dell'oggetto di autorizzazione S_SDSAUTH.

• Un'integrazione del runtime self-hosted con SAP .NET Connector 3.0. Seguire questa procedura di installazione:

  1. Installare e registrare il runtime di integrazione hostato internamente, versione 3.13 o successiva. Questo processo è descritto più avanti in questo articolo.

  2. Scaricare il Connector a 64 bit per Microsoft .NET 3.0 dal sito Web SAP e installarlo nello stesso computer dell'IR self-hosted. Durante l'installazione, assicurarsi di selezionare Installa assembly in GAC nella finestra di dialogo passaggi di configurazione opzionali, come mostrato nell'immagine seguente.

     

Eseguire una copia completa da SAP BW Open Hub

Nel portale di Azure, vai al tuo servizio. Selezionare Apri nel riquadro Apri Azure Data Factory Studio o Apri Synapse Studio per aprire l'interfaccia del servizio in una scheda separata.

1. Nella home page selezionare Inserimento per aprire lo strumento Copia dati.

2. Nella pagina Proprietà scegliere Attività di copia incorporata in Tipo di attività e scegliere Esegui subito una sola volta in Frequenza attività o pianificazione e quindi selezionare Avanti.

3. Nella pagina Archivio dati di origine selezionare + Nuova connessione. Selezionare SAP BW Open Hub dalla raccolta di connettori e quindi selezionare Continua. Per filtrare i connettori, è possibile digitare SAP nella casella di ricerca.

4. Nella pagina Nuova connessione (SAP BW Open Hub) seguire questa procedura per creare una nuova connessione.

   1. Nell'elenco Connetti tramite runtime di integrazione selezionare un runtime di integrazione self-hosted esistente. In alternativa, scegliere di crearne uno se non ne è ancora disponibile uno.

      Per creare un nuovo Integration Runtime self-hosted, selezionare +Nuovo e quindi selezionare Self-hosted. Immettere un nome e quindi selezionare Avanti. Selezionare Installazione rapida per eseguire l'installazione nel computer corrente oppure seguire la procedura di installazione manuale fornita.

      Come indicato in Prerequisiti, assicurarsi di disporre di SAP Connector per Microsoft .NET 3.0 installato nello stesso computer in cui è in esecuzione il runtime di integrazione self-hosted.

   2. Immettere il nome del server SAP BW, il numero di sistema, l'ID client, la lingua (se diverso da EN), il nome utente e la password.

   3. Seleziona Verifica connessione per verificare le impostazioni, quindi selezionare Crea.

   

   4. Nella pagina Archivio dati di origine selezionare la connessione appena creata nel blocco Connessione.

   5. Nella sezione relativa alla selezione delle destinazioni Open Hub, esplorare le destinazioni Open Hub disponibili in SAP BW. È possibile visualizzare in anteprima i dati in ogni destinazione selezionando il pulsante di anteprima alla fine di ogni riga. Selezionare OHD da cui copiare i dati e quindi selezionare Avanti.

   

5. Specificare un filtro, se necessario. Se l'OHD contiene solo dati di un'unica esecuzione del DTP (Data Transfer Process) con un singolo ID richiesta, o se si è certi che il DTP sia stato completato e si desidera copiare i dati, deselezionare la casella di controllo Escludi ultima richiesta nella sezione Avanzate. È possibile visualizzare in anteprima i dati selezionando il pulsante Anteprima dati .

   Altre informazioni su queste impostazioni sono disponibili nella sezione Configurazioni della destinazione dell'hub aperto SAP BW di questo articolo. Quindi seleziona Avanti.

   

6. Nella pagina Archivio dati di destinazione selezionare + Nuova connessione>Azure Data Lake Storage Gen2>Continue (Continua).

7. Nella pagina Nuova connessione (Azure Data Lake Storage Gen2) seguire questa procedura per creare una connessione.

   1. Selezionare l'account compatibile con Data Lake Storage Gen2 dall'elenco a discesa Nome.
   2. Seleziona Crea per creare la connessione.

   

8. Nella pagina Archivio dati di destinazione selezionare la connessione appena creata nella sezione Connessione e immettere copyfromopenhub come nome della cartella di output. Quindi seleziona Avanti.

   

9. Nella pagina Impostazione Formato file selezionare Avanti per usare le impostazioni predefinite.

   

10. Nella pagina Impostazioni specificare un nome attività ed espandere Avanzate. Immettere un valore per il grado di parallelismo di copia, ad esempio 5, per caricare da SAP BW in parallelo. Quindi seleziona Avanti.

    

11. Nella pagina Riepilogo esaminare le impostazioni. Quindi seleziona Avanti.

    

12. Nella pagina Distribuzione selezionare Monitoraggio per monitorare la pipeline.

13. Si noti che la scheda Monitoraggio sul lato sinistro della pagina viene selezionata automaticamente. È possibile utilizzare i collegamenti nella colonna Nome pipeline della pagina Esecuzioni pipeline per visualizzare i dettagli dell'attività e rieseguire la pipeline.

14. Per visualizzare le esecuzioni di attività associate all'esecuzione della pipeline, selezionare i collegamenti sotto la colonna Nome pipeline. Dato che la pipeline contiene una sola attività (attività di copia), viene visualizzata una sola voce. Per tornare alla visualizzazione delle esecuzioni della pipeline, selezionare il collegamento Tutte le esecuzioni della pipeline in alto. Selezionare Aggiorna per aggiornare l'elenco.

    

15. Per monitorare i dettagli di esecuzione per ogni attività di copia, selezionare il collegamento Dettagli , ovvero un'icona degli occhiali nella stessa riga di ogni attività di copia nella visualizzazione di monitoraggio delle attività. I dettagli disponibili includono il volume di dati copiato dall'origine al sink, la velocità effettiva dei dati, i passaggi di esecuzione e la durata e le configurazioni usate.

    

16. Per visualizzare l'ID richiesta massimo di ogni attività di copia, tornare alla visualizzazione di monitoraggio delle attività e selezionare Output nella stessa riga di ogni attività di copia.

    

    

Copia incrementale da SAP BW Open Hub

A questo punto, continuiamo a configurare la copia incrementale da SAP BW Open Hub.

La copia incrementale usa un meccanismo "high-watermark" basato sull'ID richiesta. Tale ID viene generato automaticamente nella destinazione Open Hub di SAP BW dal DTP. Il diagramma seguente illustra questo flusso di lavoro:

Nella home page selezionare Modelli di pipeline nella sezione Individua altro per usare il modello predefinito.

1. Cercare SAP BW per trovare e selezionare il modello "Copia incrementale da SAP BW a Azure Data Lake Storage Gen2". Questo modello copia i dati in Azure Data Lake Storage Gen2. È possibile usare un flusso di lavoro simile per copiare in altri tipi di sink.

2. Nella pagina principale del modello selezionare o creare le tre connessioni seguenti e quindi selezionare Usa questo modello nell'angolo in basso a destra della finestra.

   • Archiviazione BLOB di Azure: in questa procedura dettagliata si utilizza l'Archiviazione BLOB di Azure per memorizzare l'indicatore di riferimento, ovvero il massimo ID richiesta copiato.
   • SAP BW Open Hub: origine da cui copiare i dati. Per informazioni dettagliate sulla configurazione, consultare la guida completa precedente.
   • Azure Data Lake Storage Gen2: sink in cui copiare i dati. Per informazioni dettagliate sulla configurazione, vedere il walkthrough completo precedente.

   

3. Questo modello genera una pipeline con le tre attività seguenti e le rende concatenati: Ricerca, Copia dati e Web.

   Passare alla scheda Parametri della pipeline. Vengono visualizzate tutte le configurazioni da fornire.

   

   • SAPOpenHubDestinationName: specificare il nome della tabella dell'hub aperto da cui copiare i dati.

   • Data_Destination_Container: specificare il contenitore azure Data Lake Storage Gen2 di destinazione in cui copiare i dati. Se il contenitore non esiste, l'attività di copia ne crea una durante l'esecuzione.

   • Data_Destination_Directory: specificare il percorso della cartella nel contenitore Azure Data Lake Storage Gen2 in cui copiare i dati. Se il percorso non esiste, l'attività di copia crea un percorso durante l'esecuzione.

   • HighWatermarkBlobContainer: specificare il contenitore in cui archiviare il valore limite massimo.

   • HighWatermarkBlobDirectory: specificare il percorso della cartella all'interno del contenitore per memorizzare il valore di soglia massimo.

   • HighWatermarkBlobName: specificare il nome del BLOB per archiviare il valore dell'indicatore di soglia, ad esempio requestIdCache.txt. Nell'Archiviazione BLOB, vai al percorso corrispondente di HighWatermarkBlobContainer+HighWatermarkBlobDirectory+HighWatermarkBlobName, ad esempio container/path/requestIdCache.txt. Creare un BLOB con contenuto 0.

     

   • LogicAppURL: in questo modello si usa WebActivity per chiamare App per la logica di Azure per impostare il valore limite massimo nell'archivio BLOB. In alternativa, è possibile usare database SQL di Azure per archiviarlo. Usare un'attività di procedura memorizzata per aggiornare il valore.

     È prima necessario creare un'app per la logica, come illustrato nell'immagine seguente. Quindi, incollare l'URL HTTP POST.

     

     1. Vai al portale di Azure. Selezionare un nuovo servizio Logic Apps. Selezionare +App logica vuota per accedere a Designer di app logiche.

     2. Creare un trigger di Quando viene ricevuta una richiesta HTTP. Specificare il corpo della richiesta HTTP come indicato di seguito:

        {
           "properties": {
              "sapOpenHubMaxRequestId": {
                 "type": "string"
              }
           },
           "type": "object"
        }
        

     3. Aggiungere un'azione Crea BLOB . Per percorso della cartella e nome del blob, usare gli stessi valori configurati in precedenza in HighWatermarkBlobContainer+HighWatermarkBlobDirectory e HighWatermarkBlobName.

     4. Seleziona Salva. Copiare quindi il valore di URL HTTP POST da usare nella pipeline.

4. Dopo aver specificato i parametri della pipeline, selezionare Debug>Fine per richiamare un'esecuzione per convalidare la configurazione. In alternativa, selezionare Pubblica per pubblicare tutte le modifiche e quindi selezionare Aggiungi trigger per eseguire un'esecuzione.

Configurazioni di destinazione dell'hub aperto SAP BW

Questa sezione presenta la configurazione del lato SAP BW per usare il connettore SAP BW Open Hub per copiare i dati.

Configurare l'estrazione differenziale in SAP BW

Se è necessaria sia la copia cronologica che la copia incrementale o solo la copia incrementale, configurare l'estrazione differenziale in SAP BW.

1. Creare la destinazione dell'hub aperto. È possibile creare l'OHD in SAP Transaction RSA1, che crea automaticamente il processo di trasformazione e trasferimento dei dati richiesto. Usare le seguenti impostazioni:

   • ObjectType: è possibile usare qualsiasi tipo di oggetto. In questo caso viene usato InfoCube come esempio.
   • Tipo di destinazione: selezionare Tabella di database.
   • Chiave della tabella: selezionare Chiave tecnica.
   • Estrazione: selezionare Mantieni dati e Inserisci record nella tabella.

   

   

   È possibile aumentare il numero di processi di lavoro SAP in esecuzione parallela per DTP:

   

2. Pianificare il DTP nelle catene di processi.

   Un DTP delta di un cubo funziona solo se le righe necessarie non sono state compresse. Assicurarsi che la compressione del cubo BW non sia in esecuzione prima del DTP nella tabella Open Hub. Il modo più semplice per eseguire questa operazione consiste nell'integrare il DTP nelle catene di processi esistenti. Nell'esempio seguente, il DTP (per l'OHD) viene inserito nel flusso di processo tra Regola (rollup di aggregazione) e Comprimi (compressione del cubo).

   

Configurare l'estrazione completa in SAP BW

Oltre all'estrazione delta, potrebbe essere necessaria un'estrazione completa dello stesso InfoProvider SAP BW. Questo vale in genere se si vuole eseguire la copia completa ma non incrementale o si vuole risincronizzare l'estrazione delta.

Non puoi avere più DTP per lo stesso OHD. Quindi, è necessario creare un OHD aggiuntivo prima dell'estrazione differenziale.

Per un carico completo OHD, scegliere opzioni diverse rispetto all'estrazione delta.

• In OHD: impostare l'opzione Estrazione su Elimina dati e Inserisci record. In caso contrario, i dati verranno estratti più volte quando si ripete il DTP in una catena di processi BW.

• In DTP: Impostare la modalità di estrazione su Pieno. È necessario modificare il DTP creato automaticamente da Delta a Full immediatamente dopo la creazione dell'OHD, come illustrato nell'immagine seguente:

  

• Nel connettore BW Open Hub: Disattiva l'opzione Escludi ultima richiesta. In caso contrario, non verrà estratto alcun elemento.

In genere si esegue manualmente il DTP completo. In alternativa, è possibile creare una catena di processi per il DTP completo. Si tratta in genere di una catena separata indipendente dalla catena di processi esistente. In entrambi i casi, assicuratevi che il DTP sia terminato prima di iniziare l'estrazione usando il comando copia. In caso contrario, verranno copiati solo i dati parziali.

Eseguire l'estrazione differenziale la prima volta

La prima estrazione differenziale è tecnicamente un'estrazione completa. Per impostazione predefinita, il connettore SAP BW Open Hub esclude l'ultima richiesta quando copia i dati. Per la prima estrazione differenziale, nessun dato viene estratto dall'attività di copia fino a quando un DTP successivo genera dati differenziali nella tabella con un ID richiesta separato. Esistono due modi per evitare questo scenario:

• Disattivare l'opzione Escludi ultima richiesta per la prima estrazione differenziale. Assicurarsi che il primo DTP delta sia completato prima di avviare per la prima volta l'estrazione delta.
• Usare la procedura per risincronizzare l'estrazione differenziale, come descritto nella sezione successiva.

Risincronizzazione dell'estrazione di delta

Gli scenari seguenti modificano i dati nei cubi SAP BW, ma non vengono considerati dal DTP differenziale:

• Eliminazione selettiva delle righe in SAP BW utilizzando qualsiasi condizione di filtro.
• Eliminazione della richiesta SAP BW (di richieste non valide)

Una destinazione SAP Open Hub non è un target dati controllato dal data-mart (in tutti i pacchetti di supporto SAP BW dal 2015). È quindi possibile eliminare i dati da un cubo senza modificare i dati nell'OHD. È quindi necessario risincronizzare i dati del cubo con il servizio:

1. Eseguire un'estrazione completa nel servizio (usando un DTP completo in SAP).
2. Eliminare tutte le righe nella tabella Open Hub per il DTP differenziale.
3. Impostare lo stato del DTP differenziale su Recuperato.

In seguito, tutti i DTP differenziali e le estrazioni differenziali successive funzionano come previsto.

Per impostare lo stato del delta DTP su Fetched, è possibile usare l'opzione seguente per eseguire manualmente il delta DTP:

Nessun trasferimento dati; Stato delta nell'origine: recuperato

Contenuto correlato

Informazioni sul supporto di SAP BW Open Hub Connector: