Gegevens verrijken en invoeren in Event Hub met behulp van de code-loze Stream Analytics-editor

In dit artikel wordt beschreven hoe u de code-editor zonder code kunt gebruiken om eenvoudig een Stream Analytics-taak te maken. Het leest continu vanuit uw Event Hubs, verrijkt de binnenkomende gegevens met SQL-referentiegegevens en schrijft vervolgens de resultaten continu naar Event Hub.

Vereisten

  • Uw Azure Event Hubs- en SQL-referentiegegevensbronnen moeten openbaar toegankelijk zijn en zich niet achter een firewall bevinden of zijn beveiligd in een virtueel Azure-netwerk
  • De gegevens in uw Event Hubs moeten worden geserialiseerd in JSON-, CSV- of Avro-indeling.

Een Stream Analytics-taak ontwikkelen om Event Hub-gegevens te verrijken

  1. Zoek en selecteer in Azure Portal de Azure Event Hubs-instantie.

  2. Selecteer Functies>Procesgegevens en selecteer vervolgens Start op de Gegevens verrijken en opnemen in Event Hub kaart.

    Schermopname van de kaart Filter en invoer naar ADLS Gen2, waar u op Start klikt.

  3. Voer een naam in voor de Stream Analytics-taak en selecteer Maken.

    Schermopname die laat zien waar een taaknaam moet worden ingevoerd.

  4. Geef het serialisatietype van uw gegevens op in het Event Hubs-venster en de verificatiemethode die door de taak wordt gebruikt om verbinding te maken met de Event Hubs. Selecteer vervolgens Connect.
    Schermopname van de configuratie van de Event Hubs-verbinding.

  5. Wanneer de verbinding tot stand is gebracht en er gegevensstromen naar uw Event Hubs-exemplaar stromen, ziet u onmiddellijk twee dingen:

    • Velden die aanwezig zijn in de invoergegevens. U kunt Veld toevoegen kiezen of het driepuntsymbool naast een veld selecteren om het te verwijderen, de naam te wijzigen of het type aan te passen.
      Schermopname van de lijst met Event Hubs-velden waar u het veldtype kunt verwijderen, een andere naam kunt geven of wijzigen.
    • Een livevoorbeeld van binnenkomende gegevens in de tabel Gegevensvoorbeeld onder de diagramweergave. Het wordt automatisch periodiek vernieuwd. U kunt Pauzeren streamingvoorbeeld selecteren om een statische weergave van de voorbeeldinvoergegevens te bekijken.
      Schermopname van voorbeeldgegevens onder Gegevensvoorbeeld.

  6. Selecteer de tegel Referentie-SQL-invoer om verbinding te maken met de referentie-SQL-database.
    Schermopname van de configuratie van de sql-verwijzingsgegevensverbinding.

  7. Selecteer de tegel Join . Kies in het rechterconfiguratiepaneel een veld uit elke invoer om de binnenkomende gegevens van de twee invoergegevens te koppelen.

    Schermopname van de configuratie van de join-operator.

  8. Selecteer de tegel Beheren . Kies in het deelvenster Velden configureren de velden die u wilt uitvoeren naar Event Hub. Als u alle velden wilt toevoegen, selecteert u Alle velden toevoegen.

    Schermopname van de configuratie van de veldoperator beheren.

  9. Klik op de tegel Event Hub. Vul in het configuratievenster van Event Hub de benodigde parameters in en maak verbinding, net zoals de configuratie van de event hub voor invoer.

  10. Selecteer eventueel Statische preview ophalen/Statische preview vernieuwen om het gegevensvoorbeeld te zien dat in Event Hub wordt opgenomen.
    Schermopname van de optie Statische preview ophalen/Statische preview vernieuwen.

  11. Selecteer Opslaan en selecteer vervolgens De Stream Analytics-taak starten.
    Schermopname met de opties Opslaan en Starten.

  12. Geef het volgende op om de taak te starten:

    • Het aantal streaming-eenheden (RU's) waarmee de taak wordt uitgevoerd. SUs vertegenwoordigt de hoeveelheid rekenkracht en geheugen die aan de taak is toegewezen. We raden u aan om met drie te beginnen en vervolgens naar behoefte aan te passen.
    • Verwerking van uitvoergegevensfouten : hiermee kunt u het gewenste gedrag opgeven wanneer de uitvoer van een taak naar uw bestemming mislukt vanwege gegevensfouten. Uw taak wordt standaard opnieuw uitgevoerd totdat de schrijfbewerking is voltooid. U kunt er ook voor kiezen om dergelijke uitvoer gebeurtenissen te verwijderen.
      Schermopname van de opties voor de Stream Analytics-taak starten, waar u de uitvoertijd kunt wijzigen, het aantal streaming-eenheden kunt instellen en de opties voor het verwerken van uitvoergegevensfouten kunt selecteren.

  13. Nadat u Start hebt geselecteerd, wordt de taak binnen twee minuten uitgevoerd en worden de metrische gegevens geopend in de onderstaande tabbladsectie.

    Schermopname van de metrische gegevens van de taak nadat deze is gestart.

    U kunt de taak ook zien onder de sectie Procesgegevens op het tabblad Stream Analytics-taken . Selecteer Metrische gegevens openen om deze te bewaken of te stoppen en opnieuw op te starten, indien nodig.

    Schermopname van het tabblad Stream Analytics-taken waarin u de status van de actieve taken bekijkt.

Overwegingen bij het gebruik van de functie Geo-replicatie van Event Hubs

Azure Event Hubs heeft onlangs de functie Geo-replicatie gelanceerd in de openbare preview. Deze functie verschilt van de functie Geo Disaster Recovery van Azure Event Hubs.

Wanneer het failovertype Geforceerd en de replicatieconsistentie Asynchroon is, garandeert de Stream Analytics-job geen exacte enkelvoudige uitvoer naar een Azure Event Hubs-output.

Azure Stream Analytics, als producent met een Event Hub als uitvoer, kan de watermerkvertraging in de taak observeren tijdens de failoverperiode en tijdens beperking door Event Hubs, in het geval dat de replicatievertraging tussen de primaire en secundaire de maximaal geconfigureerde vertraging bereikt.

Azure Stream Analytics, als consument met Event Hubs als invoer, kan tijdens de failover mogelijk een watermark delay in de taak waarnemen en mogelijk gegevens overslaan of dubbele gegevens vinden nadat de failover is voltooid.

Als gevolg van deze opmerkingen start u de Stream Analytics-taak opnieuw op met de juiste begintijd direct nadat de Failover van Event Hubs is voltooid. Aangezien de functie Geo-replicatie van Event Hubs in openbare preview is, gebruikt u dit patroon op dit moment niet voor productie Stream Analytics-taken. Het huidige gedrag van Stream Analytics wordt verbeterd voordat de Geo-replicatiefunctie van Event Hubs algemeen beschikbaar is en kan worden gebruikt in Stream Analytics-productietaken.

Volgende stappen

Meer informatie over Azure Stream Analytics en het bewaken van de taak die u hebt gemaakt.

  • Last updated on