Handledning: Skriva till en Delta-tabell som lagras i Azure Data Lake Storage Gen2

Den här självstudien visar hur du skapar ett Stream Analytics-jobb som skriver till en Delta-tabell i Azure Data Lake Storage Gen2. I den här tutorialen lär du dig följande:

Förutsättningar

Slutför följande steg innan du börjar:

• Om du inte har någon Azure-prenumeration kan du skapa ett kostnadsfritt konto.
• Distribuera TollApp-händelsegeneratorn till Azure. Använd den här länken för att distribuera TollApp Azure-mall. Ange parametern interval till 1. Skapa och använd en ny resursgrupp för det här steget.
• Skapa ett Data Lake Storage Gen2-konto.

Skapa ett Stream Analytics-jobb

1. Logga in på Azure-portalen.

2. Välj Alla tjänster på den vänstra menyn.

3. Flytta musen över Stream Analytics-jobb i avsnittet Analys och välj + (plus).

   

4. Välj Skapa en resurs i det övre vänstra hörnet i Azure-portalen.

5. Välj Analytics>Stream Analytics-jobb i resultatlistan.

6. Följ dessa steg i Nytt Stream Analytics-jobb:

   1. För Prenumeration väljer du din Azure-prenumeration.
   2. För Resursgrupp väljer du samma resurs som du använde tidigare i TollApp-distributionen.
   3. Som Namn anger du ett namn för jobbet. Stream Analytics-jobbnamnet kan endast innehålla alfanumeriska tecken, bindestreck och understreck. Den måste vara mellan 3 och 63 tecken lång.
   4. För Värdmiljö kontrollerar du att Molnet är valt.
   5. För Stream-enheter väljer du 1. Strömningsenheter representerar de beräkningsresurser som krävs för att utföra ett jobb. Mer information om hur du skalar strömningsenheter finns i Förstå och justera strömningsenheter.

   

7. Välj Granska och skapa längst ned på sidan.

8. Granska inställningarna i Granska + skapa och välj Skapa för att skapa ett Stream Analytics-jobb.

9. På distributionssidan väljer du Gå till resurs för att gå till Stream Analytics-jobbsidan .

Konfigurera jobbindata

Nästa steg är att definiera en indatakälla för jobbet för att läsa data med hjälp av händelsehubben som skapades i TollApp-distributionen.

1. Hitta Stream Analytics-jobbet som skapades i föregående avsnitt.

2. I avsnittet Jobbtopologi i Stream Analytics-jobbet väljer du Indata.

3. Välj + Lägg till indata och Händelsehubb.

   

4. Fyll i indataformuläret med följande värden som skapats via TollApp Azure Template:

   1. För Indataalias anger du entrystream.

   2. Välj Välj händelsehubb från dina prenumerationer.

   3. För Prenumeration väljer du din Azure-prenumeration.

   4. För Event Hub-namnrymd väljer du händelsehubbens namnområde som du skapade i föregående avsnitt.

   5. Använd standardalternativen för de återstående inställningarna och välj Spara.

      

Konfigurera jobbutdata

Nästa steg är att definiera en utdatamottagare där jobbet kan skriva data. I den här självstudien kommer du att skriva utdata till en Delta-tabell i Azure Data Lake Storage Gen2.

1. I avsnittet Jobbtopologi i Stream Analytics-jobbet väljer du alternativet Utdata .

2. Välj + Lägg till utdata>Blob Storage/ADLS Gen2.

   

3. Fyll i utdataformuläret med följande information och välj Spara:

   1. För Utdataalias anger du DeltaOutput.

   2. Välj Välj Blob Storage/ADLS Gen2 från dina prenumerationer.

   3. För Prenumeration väljer du din Azure-prenumeration.

   4. För Lagringskonto väljer du det ADLS Gen2-konto (det som börjar med tollapp) som du skapade.

   5. För container väljer du Skapa ny och anger ett unikt containernamn.

   6. För Format för händelseseriellisering väljer du Delta Lake. Även om Delta Lake visas som ett av alternativen här är det inte ett dataformat. Delta Lake använder versionerade Parquet-filer för att lagra dina data. Om du vill veta mer om Delta Lake.

   7. För Delta-tabellsökväg anger du självstudiemapp/deltatabell.

   8. Använd standardalternativen för de återstående inställningarna och välj Spara.

      

Skapa frågor

Nu konfigurerar du ett Stream Analytics-jobb för att läsa en inkommande dataström. Nästa steg är att skapa en fråga som analyserar data i realtid. Frågorna använder ett SQL-liknande språk som har vissa tillägg som är specifika för Stream Analytics.

1. Välj Fråga under Jobbtopologi på den vänstra menyn.

2. Ange följande fråga i frågefönstret. I det här exemplet läser frågan data från Event Hubs och kopierar valda värden till en Delta-tabell i ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Välj Spara fråga i verktygsfältet.

   

Starta Stream Analytics-jobbet och kontrollera utdata

1. Gå tillbaka till jobböversiktssidan i Azure-portalen och välj Start.

   

2. På sidan Starta jobb bekräftar du att Nu är valt för Starttid för jobbutdata och välj sedan Starta längst ned på sidan.

   

3. Efter några minuter hittar du lagringskontot och containern som du konfigurerade som utdata för jobbet i portalen. Nu kan du se deltatabellen i mappen som anges i containern. Processen tar några minuter att starta första gången. När den har startats fortsätter den att köras när data tas emot.

   

Rensa resurser

När du inte längre behöver resurserna tar du bort resursgruppen, Stream Analytics-jobbet och alla relaterade resurser. När jobbet tas bort stoppas faktureringen för de strömningsenheter som jobbet förbrukar. Om du planerar att använda jobbet i framtiden kan du stoppa det och starta om det senare när du behöver det. Om du inte kommer att fortsätta att använda det här jobbet tar du bort alla resurser som du skapade i den här självstudien med hjälp av följande steg:

1. Klicka på Resursgrupper på den vänstra menyn i Azure-portalen och välj sedan namnet på den resurs du skapade.
2. På resursgruppens sida väljer du Ta bort, skriver namnet på resursen som ska tas bort i textrutan och väljer sedan Ta bort.

Nästa steg

I den här självstudien skapade du ett enkelt Stream Analytics-jobb, filtrerade inkommande data och skrev resultat i en Delta-tabell i ADLS Gen2-kontot. Mer information om Stream Analytics-jobb finns i: