Samla in data från Event Hubs i Delta Lake-format

Den här artikeln beskriver hur du använder redigeringsprogrammet utan kod för att automatiskt samla in strömmande data i Event Hubs till ett Azure Data Lake Storage Gen2-konto i Delta Lake-format.

Förutsättningar

  • Du måste göra dina Azure Event Hubs och Azure Data Lake Storage Gen2 resurser offentligt tillgängliga. Placera dem inte bakom en brandvägg eller skydda dem i en Azure Virtual Network.
  • Du måste serialisera data i eventhubbar i JSON-, CSV- eller Avro-format.

Konfigurera ett jobb för att samla in data

Använd följande steg för att konfigurera ett Stream Analytics-jobb för att samla in data i Azure Data Lake Storage Gen2.

  1. Gå till din händelsehubb i Azure-portalen.

  2. Välj Funktioner>Bearbeta data och välj Starta på kortet Avbilda data till ADLS Gen2 i Delta Lake-format.
    Skärmbild som visar startkorten för Process Event Hubs-data.

    Du kan också välja Funktioner>Capture och välja alternativet Delta Lake som under Utdatahändelsens serialiseringsformat. Välj sedan Start data capture configuration (Starta datainsamlingskonfiguration). Skärmbild som visar startpunkten för skapandet av avbildningsdata.

  3. Ange ett namn för att identifiera ditt Stream Analytics-jobb. Välj Skapa.
    Skärmbild som visar fönstret Nytt Stream Analytics-jobb där du anger jobbnamnet.

  4. Ange serialiseringstypen för dina data i Event Hubs och den autentiseringsmetod som jobbet använder för att ansluta till Event Hubs. Välj sedan Anslut. Skärmbild som visar konfigurationen av Event Hubs-anslutningen.

  5. När anslutningen har upprättats visas:

    • Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid ett fält om du vill ta bort, byta namn på eller ändra dess namn.
    • Ett liveexempel på inkommande data i tabellen Dataförhandsvisning under diagramvyn. Den uppdateras regelbundet. Du kan välja Pausa förhandsversionen av direktuppspelning för att visa en statisk vy över exempelindata.
      Skärmbild som visar exempeldata under Förhandsversion av data.

  6. Välj panelen Azure Data Lake Storage Gen2 för att redigera konfigurationen.

  7. Följ dessa steg på konfigurationssidan för Azure Data Lake Storage Gen2 :

    1. Välj prenumeration, lagringskontonamn och container i den nedrullningsbara menyn.

    2. När du har valt prenumerationen fylls autentiseringsmetoden och lagringskontonyckeln i automatiskt.

    3. För Delta-tabellsökväg anger du platsen och namnet på din Delta Lake-tabell som lagras i Azure Data Lake Storage Gen2. Du kan välja att använda ett eller flera sökvägssegment för att definiera sökvägen till deltatabellen och deltatabellnamnet. Mer information finns i Skriv till en Delta Lake-tabell.

    4. Välj Anslut.

      Första skärmbilden som visar blobfönstret där du redigerar en blobs anslutningskonfiguration.

  8. När anslutningen upprättas visas fält som finns i utdata.

  9. Spara konfigurationen genom att välja Spara i kommandofältet.

  10. Välj Starta i kommandofältet för att starta strömningsflödet för att samla in data. Sedan i fönstret Starta Stream Analytics-jobb :

    1. Välj starttid för utdata.
    2. Välj det antal strömningsenheter (SU) som jobbet körs med. SU representerar de beräkningsresurser som allokeras för att köra ett Stream Analytics-jobb. Mer information finns i Strömmande enheter i Azure Stream Analytics.
      Skärmbild som visar fönstret Starta Stream Analytics-jobb där du anger starttid för utdata, strömningsenheter och felhantering.

  11. När du har valt Start börjar jobbet köras inom två minuter och måtten öppnas i flikavsnittet enligt följande bild. Skärmbild som visar måttdiagrammet.

  12. Du kan se det nya jobbet på fliken Stream Analytics-jobb . Skärmbild som visar länken Öppna mått markerad.

Verifiera utdata

Kontrollera att parquet-filerna med Delta lake-format genereras i Azure Data Lake Storage-containern.

Skärmbild som visar de genererade Parquet-filerna i Azure Data Lake Storage-containern (ADLS).

Överväganden vid användning av geo-replikeringsfunktionen i Event Hubs

Azure Event Hubs lanserade nyligen geo-replikeringsfunktionen i offentlig förhandsversion. Den här funktionen skiljer sig från geo-haveriberedskapsfunktionen i Azure Event Hubs.

När redundanstypen är Tvingad och replikeringskonsekvensen är asynkron garanterar inte ett Stream Analytics-jobb exakt en gång utdata till Azure Event Hubs.

Azure Stream Analytics, som producent med en händelsehubb som utdata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och under begränsningen av Event Hubs om replikeringsfördröjningen mellan primär och sekundär når den maximala konfigurerade fördröjningen.

Azure Stream Analytics, som konsument med Event Hubs som indata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och kan hoppa över data eller hitta duplicerade data när redundansväxlingen är klar.

På grund av dessa varningar startar du om Stream Analytics-jobbet med lämplig starttid direkt efter att Event Hubs-redundansväxlingen har slutförts. Eftersom geo-replikeringsfunktionen i Event Hubs är en offentlig förhandsversion, bör du inte använda det här mönstret för Stream Analytics-jobb i produktion just nu. Det aktuella Stream Analytics-beteendet förbättras innan funktionen Event Hubs Geo-replikering är allmänt tillgänglig och kan användas i Stream Analytics-produktionsjobb.

Nästa steg

Nu vet du hur du använder Stream Analytics utan kodredigerare för att skapa ett jobb som samlar in Event Hubs-data till Azure Data Lake Storage Gen2 i Delta lake-format. Sedan kan du lära dig mer om Azure Stream Analytics och hur du övervakar jobbet som du skapade.

  • Last updated on