Esercitazione: Scrivere in una tabella Delta archiviata in Azure Data Lake Storage Gen2

Questa esercitazione illustra come creare un processo di Analisi di flusso che scrive in una tabella Delta in Azure Data Lake Storage Gen2. In questa esercitazione si apprenderà come:

  • Distribuire un generatore di eventi che invia dati di esempio all'hub eventi
  • Creare un processo di Analisi di flusso.
  • Configurare Azure Data Lake Storage Gen2 con una tabella Delta
  • Eseguire il lavoro di analisi del flusso

Prerequisiti

Prima di iniziare, completare i passaggi seguenti:

Creare un processo di Analisi di flusso.

  1. Accedi al portale di Azure.

  2. Selezionare Tutti i servizi nel menu a sinistra.

  3. Spostare il mouse sui processi di Analisi dei flussi nella sezione Analisi e selezionare + (più).

    Screenshot che mostra la selezione dei processi di Analisi di flusso nella pagina Tutti i servizi.

  4. Selezionare Crea una risorsa nell'angolo superiore sinistro del portale di Azure.

  5. Selezionare Analytics>attività di Stream Analytics dall'elenco dei risultati.

  6. In Nuovo processo di Analisi di flusso seguire questa procedura:

    1. Per Sottoscrizione selezionare la sottoscrizione di Azure.
    2. Per Gruppo di risorse selezionare la stessa risorsa usata in precedenza nella distribuzione TollApp.
    3. In Nome, immettere un nome per il processo. Il nome del processo di Analisi di flusso può contenere solo caratteri alfanumerici, trattini e caratteri di sottolineatura. Deve avere una lunghezza compresa tra 3 e 63 caratteri.
    4. Per Ambiente di hosting verificare che Cloud sia selezionato.
    5. Per Unità di flusso, selezionare 1. Le unità di streaming rappresentano le risorse di calcolo necessarie per eseguire un processo. Per informazioni sul ridimensionamento delle unità di streaming, vedere Informazioni e regolazione delle unità di streaming.

    Screenshot che mostra la pagina Crea processo di Analisi di flusso.

  7. Selezionare Rivedi e crea nella parte inferiore della pagina.

  8. In Rivedi e crea rivedere le impostazioni e selezionare Crea per creare un processo di Analisi di flusso.

  9. Nella pagina di distribuzione selezionare Vai alla risorsa per passare alla pagina del Processo di Analisi dei flussi.

Configurare l'input del processo

Il passaggio successivo consiste nel definire un'origine di input per il processo di lavoro per leggere i dati utilizzando l'Hub eventi creato nella distribuzione di TollApp.

  1. Trova il processo Stream Analytics creato nella sezione precedente.

  2. Nella sezione Topologia del processo del processo di Stream Analytics, selezionare Input.

  3. Seleziona + Aggiungi input e Hub eventi.

    Screenshot che mostra la pagina Input.

  4. Compilare il modulo di input con i valori seguenti creati tramite il modello di Azure TollApp:

    1. Per Alias di input immettere entrystream.

    2. Scegliere Seleziona Hub eventi dalla tua sottoscrizione.

    3. Per Sottoscrizione selezionare la sottoscrizione di Azure.

    4. Per Spazio dei nomi dell'hub eventi, selezionare lo spazio dei nomi dell'hub eventi creato nella sezione precedente.

    5. Usare le opzioni predefinite nelle impostazioni rimanenti e selezionare Salva.

      Screenshot che mostra la selezione dell'hub degli eventi di ingresso.

Configurare l'output del lavoro

Il passaggio successivo consiste nel definire un sink di output in cui il processo può scrivere dati. In questa esercitazione si scrive l'output in una tabella Delta in Azure Data Lake Storage Gen2.

  1. Nella sezione Topologia processo del processo di Analisi di flusso selezionare l'opzione Output.

  2. Selezionare + Aggiungi archiviazione>Blob storage/ADLS Gen2.

    Screenshot che mostra la pagina Output.

  3. Compilare il modulo di output con i dettagli seguenti e selezionare Salva:

    1. Per Alias di output immettere DeltaOutput.

    2. Scegliere Seleziona archiviazione BLOB/ADLS Gen2 dalle sottoscrizioni.

    3. Per Sottoscrizione selezionare la sottoscrizione di Azure.

    4. Per Account di archiviazione scegliere l'account ADLS Gen2 (quello che inizia con tollapp) creato.

    5. Per contenitore selezionare Crea nuovo e specificare un nome di contenitore univoco.

    6. Per Formato di serializzazione eventi selezionare Delta Lake. Anche se Delta Lake è elencato come una delle opzioni qui, non è un formato di dati. Delta Lake usa file Parquet versionati per archiviare i tuoi dati. Per altre informazioni su Delta Lake.

    7. Per il percorso della tabella Delta, immettere la cartella/tabella delta dell'esercitazione.

    8. Usare le opzioni predefinite nelle impostazioni rimanenti e selezionare Salva.

      Screenshot che mostra come configurare l'output.

Creare query

A questo punto, si configura un processo di Analisi di flusso per leggere un flusso di dati in ingresso. Il passaggio successivo consiste nel creare una query che analizza i dati in tempo reale. Le query usano un linguaggio simile a SQL con alcune estensioni specifiche di Analisi di flusso.

  1. Selezionare Query sotto Topologia del lavoro nel menu a sinistra.

  2. Immettere la query seguente nella finestra di query. In questo esempio la query legge i dati da Hub eventi e copia i valori selezionati in una tabella Delta in ADLS Gen2.

     SELECT State, CarModel.Make, TollAmount
 INTO DeltaOutput
 FROM EntryStream TIMESTAMP BY EntryTime

  3. Selezionare Salva query sulla barra degli strumenti.

    Screenshot che mostra la query per il processo.

Avviare il processo di Analisi di flusso e controllare l'output

  1. Tornare alla pagina di panoramica del processo nel portale di Azure e selezionare Avvia.

    Screenshot che mostra la selezione del pulsante Avvia lavoro nella pagina Panoramica.

  2. Nella pagina Avvia processo verificare che l'opzione Ora sia selezionata per Ora di inizio dell'output del processo e quindi selezionare Avvia nella parte inferiore della pagina.

    Screenshot che mostra la selezione della pagina di avvio del processo.

  3. Dopo alcuni minuti, nel portale trovare l'account di archiviazione e il contenitore configurato come output per il processo. È ora possibile visualizzare la tabella delta nella cartella specificata nel contenitore. L'operazione richiede alcuni minuti per avviarsi la prima volta. Dopo l'avvio, l'esecuzione continua man mano che arrivano i dati.

    Screenshot che mostra i file di dati di output nel contenitore.

Pulire le risorse

Quando le risorse non sono più necessarie, eliminare il gruppo di risorse, il processo di Analisi di flusso e tutte le risorse correlate. L'eliminazione dell'attività interrompe la fatturazione per le unità di streaming consumate dall'attività. Se si prevede di utilizzare l'attività in futuro, è possibile interromperla e riavviarla quando necessario. Se non si intende continuare a usare questo processo, eliminare tutte le risorse create in questa esercitazione attenendosi alla procedura seguente:

  1. Scegliere Gruppi di risorse dal menu a sinistra del portale di Azure e quindi selezionare il nome della risorsa creata.
  2. Nella pagina del gruppo di risorse selezionare Elimina, digitare il nome della risorsa da eliminare nella casella di testo e quindi selezionare Elimina.

Passaggi successivi

In questa esercitazione è stato creato un semplice processo di Analisi di flusso, sono stati filtrati i dati in ingresso e sono stati scritti risultati in una tabella Delta nell'account ADLS Gen2. Per altre informazioni sui processi di Analisi di flusso, vedere:

Scritture ASA nell'output di Delta Lake

  • Last updated on