Filtrera och mata in till Azure Synapse SQL med Stream Analytics utan kodredigerare

Den här artikeln beskriver hur du kan använda redigeringsprogrammet utan kod för att enkelt skapa ett Stream Analytics-jobb. Den läser kontinuerligt från dina händelsehubbar, filtrerar inkommande data och skriver sedan resultatet kontinuerligt till Synapse SQL-tabellen.

Förutsättningar

  • Dina Azure Event Hubs-resurser måste vara offentligt tillgängliga och får inte finnas bakom en brandvägg eller skyddas i ett virtuellt Azure-nätverk.
  • Data i dina Event Hubs måste serialiseras i antingen JSON-, CSV- eller Avro-format.

Utveckla ett Stream Analytics-jobb för att filtrera och mata in data

Använd följande steg för att utveckla ett Stream Analytics-jobb för att filtrera och mata in realtidsdata i en Synapse SQL-tabell.

  1. I Azure Portal letar du upp och väljer din Azure Event Hubs-instans.

  2. Välj Funktioner>Bearbeta data och välj Starta på kortet Filtrera och mata in till Synapse SQL.
    Skärmbild som visar startkorten för Process Event Hubs-data.

  3. Ange ett namn för att identifiera ditt Stream Analytics-jobb och välj sedan Skapa.
    Skärmbild som visar fönstret Nytt Stream Analytics-jobb där du anger jobbnamnet.

  4. Ange serialiseringstypen för dina data i fönstret Event Hubs och den autentiseringsmetod som jobbet ska använda för att ansluta till Händelsehubbar. Välj sedan Anslut.
    Skärmbild som visar konfigurationen av Event Hubs-anslutningen.

  5. När anslutningen har upprättats och du har dataströmmar som flödar till din Event Hubs-instans ser du omedelbart två saker:

    • Fält som finns i indata. Du kan välja Lägg till fält eller välja symbolen med tre punkter bredvid ett fält för att ta bort, byta namn på eller ändra dess typ.
      Skärmbild som visar fältlistan för Event Hubs där du kan ta bort, byta namn på eller ändra fälttyp.
    • Ett liveexempel på inkommande data i tabellen Dataförhandsvisning under diagramvyn. Den uppdateras automatiskt med jämna mellanrum. Du kan välja Pausa förhandsversionen av direktuppspelning för att se en statisk vy över exempelindata.
      Skärmbild som visar exempeldata under Förhandsversion av data.

  6. I området Filter väljer du ett fält för att filtrera inkommande data med ett villkor.
    Skärmbild som visar området Filter där du kan filtrera inkommande data med ett villkor.

  7. Välj tabellen Synapse SQL för att skicka filtrerade data:

    1. Välj metoden Prenumeration, Databas (dedikerat SQL-poolnamn) och Autentisering på den nedrullningsbara menyn.
    2. Ange tabellnamn där filtrerade data ska matas in. Välj Anslut.
      Skärmbild som visar anslutningsinformation för Synapse SQL-tabell.

    Kommentar

    Tabellschemat måste exakt matcha antalet fält och deras typer som dataförhandsgranskningen genererar.

  8. Du kan också välja Hämta statisk förhandsversion/Uppdatera statisk förhandsversion för att se den dataförhandsgranskning som ska matas in i den valda Synapse SQL-tabellen.
    Skärmbild som visar alternativet Hämta statisk förhandsversion/Uppdatera statisk förhandsversion.

  9. Välj Spara och välj sedan Starta Stream Analytics-jobbet.
    Skärmbild som visar alternativen Spara och Starta.

  10. Om du vill starta jobbet anger du:

    • Antalet strömningsenheter (SUs) som jobbet körs med. SUs representerar mängden beräkning och minne som allokerats till jobbet. Vi rekommenderar att du börjar med tre och sedan justerar efter behov.
    • Hantering av utdatafel – Du kan ange vilket beteende du vill ha när ett jobbs utdata till din destination misslyckas på grund av datafel. Som standard försöker ditt jobb igen tills skrivoperationen lyckas. Du kan också välja att utelämna sådana utdatahändelser.
      Skärmbild som visar alternativen för att starta Stream Analytics-jobb där du kan ändra utdata-tiden, ställa in antalet streamingenheter och välja alternativ för hantering av fel i utdata.

  11. När du har valt Start börjar jobbet köras inom två minuter och måtten öppnas i flikavsnittet nedan.

    Du kan också se jobbet under avsnittet Processdata på fliken Stream Analytics-jobb . Välj Öppna mått om du vill övervaka det eller stoppa och starta om det efter behov.

    Skärmbild av fliken Stream Analytics-jobb där du kan se statusen för körande jobb.

Överväganden vid användning av geo-replikeringsfunktionen i Event Hubs

Azure Event Hubs lanserade nyligen geo-replikeringsfunktionen i offentlig förhandsversion. Den här funktionen skiljer sig från geo-haveriberedskapsfunktionen i Azure Event Hubs.

När redundanstypen är Tvingad och replikeringskonsekvensen är asynkron garanterar inte ett Stream Analytics-jobb exakt en gång utdata till Azure Event Hubs.

Azure Stream Analytics, som producent med en händelsehubb som utdata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och under begränsningen av Event Hubs om replikeringsfördröjningen mellan primär och sekundär når den maximala konfigurerade fördröjningen.

Azure Stream Analytics, som konsument med Event Hubs som indata, kan observera vattenstämpelfördröjning på jobbet under redundansväxlingen och kan hoppa över data eller hitta duplicerade data när redundansväxlingen är klar.

På grund av dessa varningar startar du om Stream Analytics-jobbet med lämplig starttid direkt efter att Event Hubs-redundansväxlingen har slutförts. Eftersom geo-replikeringsfunktionen i Event Hubs är en offentlig förhandsversion, bör du inte använda det här mönstret för Stream Analytics-jobb i produktion just nu. Det aktuella Stream Analytics-beteendet förbättras innan funktionen Event Hubs Geo-replikering är allmänt tillgänglig och kan användas i Stream Analytics-produktionsjobb.

Nästa steg

Läs mer om Azure Stream Analytics och hur du övervakar det jobb du har skapat.

  • Last updated on