Lernprogramm: Schreiben in eine in Azure Data Lake Storage Gen2 gespeicherte Delta-Tabelle

In diesem Lernprogramm wird gezeigt, wie Sie einen Stream Analytics-Auftrag erstellen, der in eine Delta-Tabelle in Azure Data Lake Storage Gen2 schreibt. In diesem Tutorial erfahren Sie, wie:

Voraussetzungen

Bevor Sie beginnen, führen Sie die folgenden Schritte aus:

• Wenn Sie kein Azure-Abonnement besitzen, können Sie ein kostenloses Konto erstellen.
• Stellen Sie den TollApp-Ereignisgenerator in Azure bereit. Verwenden Sie diesen Link zum Bereitstellen von TollApp Azure-Vorlage. Legen Sie den interval Parameter auf 1 fest. Erstellen und verwenden Sie eine neue Ressourcengruppe für diesen Schritt.
• Erstellen Sie ein Data Lake Storage Gen2-Konto.

Erstellen eines Stream Analytics-Auftrags

1. Melden Sie sich beim Azure-Portal an.

2. Wählen Sie im linken Menü "Alle Dienste " aus.

3. Bewegen Sie den Mauspunkt über Stream Analytics-Aufträge im Abschnitt "Analyse ", und wählen Sie +(Plus) aus.

   

4. Wählen Sie Ressource erstellen in der oberen linken Ecke des Azure Portals aus.

5. Wählen Sie den Analytics>Stream Analytics-Auftrag aus der Ergebnisliste aus.

6. Führen Sie im New Stream Analytics-Auftrag die folgenden Schritte aus:

   1. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.
   2. Wählen Sie für die Ressourcengruppe dieselbe Ressource aus, die Sie zuvor in der TollApp-Bereitstellung verwendet haben.
   3. Geben Sie für "Name" einen Namen für den Auftrag ein. Der Name des Stream Analytics-Auftrags kann nur alphanumerische Zeichen, Bindestriche und Unterstriche enthalten. Er muss zwischen 3 und 63 Zeichen lang sein.
   4. Vergewissern Sie sich für die Hostingumgebung, dass Cloud ausgewählt ist.
   5. Wählen Sie für Stream-Einheiten"1" aus. Streamingeinheiten stellen die Computerressourcen dar, die zum Ausführen eines Auftrags erforderlich sind. Informationen zum Skalieren von Streamingeinheiten finden Sie unter Grundlegendes und Anpassen von Streamingeinheiten.

   

7. Wählen Sie am unteren Rand der Seite die Option Bewerten + erstellen aus.

8. Wählen Sie unter Überprüfen + Erstellen die Einstellungen aus, und wählen Sie Erstellen aus, um einen Stream Analytics-Auftrag zu erstellen.

9. Wählen Sie auf der Bereitstellungsseite "Zur Ressource wechseln " aus, um zur Stream Analytics-Auftragsseite zu wechseln.

Konfigurieren der Auftragseingabe

Der nächste Schritt besteht darin, eine Eingabequelle für den Auftrag zu definieren, um Daten mithilfe des in der TollApp-Bereitstellung erstellten Ereignishubs zu lesen.

1. Suchen Sie den Stream Analytics-Auftrag, der im vorherigen Abschnitt erstellt wurde.

2. Wählen Sie im Abschnitt "Auftragstopologie " des Stream Analytics-Auftrags "Eingaben" aus.

3. Wählen Sie + Eingabe hinzufügen und Event Hub.

   

4. Füllen Sie das Eingabeformular mit den folgenden Werten aus, die über die TollApp Azure-Vorlage erstellt wurden:

   1. Geben Sie für den Eingabealiasden Eintragsstream ein.

   2. Wählen Sie "Event Hub auswählen" aus Ihren Abonnements aus.

   3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

   4. Wählen Sie für den Event Hub-Namespace den Event Hub-Namespace aus, den Sie im vorherigen Abschnitt erstellt haben.

   5. Verwenden Sie die Standardoptionen für die verbleibenden Einstellungen, und wählen Sie "Speichern" aus.

      

Konfigurieren der Auftragsausgabe

Der nächste Schritt umfasst das Definieren einer Ausgabesenke, in die der Einzelvorgang die Daten schreiben kann. In diesem Tutorial schreiben Sie die Ausgabe in eine Delta-Tabelle in Azure Data Lake Storage Gen2.

1. Wählen Sie im Abschnitt "Auftragstopologie " des Stream Analytics-Auftrags die Option "Ausgaben " aus.

2. Wählen Sie + Ausgabe hinzufügen>Blob Storage/ADLS Gen2 aus.

   

3. Füllen Sie das Ausgabeformular mit den folgenden Details aus, und wählen Sie "Speichern" aus:

   1. Geben Sie bei AusgabealiasDeltaOutput ein.

   2. Wählen Sie "Blob storage/ADLS Gen2" aus Ihren Abonnements aus.

   3. Wählen Sie für Abonnement Ihr Azure-Abonnement aus.

   4. Wählen Sie für das Speicherkonto das ADLS Gen2-Konto (das konto, das mit tollapp beginnt) aus, das Sie erstellt haben.

   5. Wählen Sie für container " Neu erstellen" aus, und geben Sie einen eindeutigen Containernamen an.

   6. Wählen Sie für das Ereignis-SerialisierungsformatDelta Lake aus. Obwohl Delta Lake als eine der hier aufgeführten Optionen aufgeführt ist, handelt es sich nicht um ein Datenformat. Delta Lake nutzt versionierte Parquet-Dateien, um Ihre Daten zu speichern. Weitere Informationen zum Delta-See.

   7. Geben Sie für den Delta-Tabellenpfadden Lernprogrammordner/die Delta-Tabelle ein.

   8. Verwenden Sie die Standardoptionen für die verbleibenden Einstellungen, und wählen Sie "Speichern" aus.

      

Erstellen von Abfragen

An diesem Punkt richten Sie einen Stream Analytics-Auftrag ein, um einen eingehenden Datenstrom zu lesen. Der nächste Schritt besteht darin, eine Abfrage zu erstellen, die die Daten in Echtzeit analysiert. Die Abfragen verwenden eine SQL-ähnliche Sprache, die bestimmte Erweiterungen für Stream Analytics enthält.

1. Wählen Sie "Abfrage " unter "Auftragstopologie " im linken Menü aus.

2. Geben Sie die folgende Abfrage in das Abfragefenster ein. In diesem Beispiel liest die Abfrage die Daten aus Event Hubs und kopiert ausgewählte Werte in eine Delta-Tabelle in ADLS Gen2.

    SELECT State, CarModel.Make, TollAmount
    INTO DeltaOutput
    FROM EntryStream TIMESTAMP BY EntryTime
   

3. Wählen Sie " Abfrage speichern " auf der Symbolleiste aus.

   

Starten des Stream Analytics-Auftrags und Überprüfen der Ausgabe

1. Kehren Sie zur Seite "Auftragsübersicht" im Azure-Portal zurück, und wählen Sie "Start" aus.

   Screenshot, der die Auswahl der Schaltfläche "Startauftrag" auf der Seite "Übersicht" anzeigt.

2. Vergewissern Sie sich auf der Seite " Auftragsanfang ", dass "Jetzt" für die Startzeit des Auftrags ausgewählt ist, und wählen Sie dann " Start " am unteren Rand der Seite aus.

   

3. Suchen Sie nach ein paar Minuten im Portal das Speicherkonto und den Container, den Sie als Ausgabe für den Auftrag konfiguriert haben. Sie können nun die Delta-Tabelle in dem ordner sehen, der im Container angegeben ist. Der Vorgang kann ein paar Minuten dauern, bis er das erste Mal beginnt. Nach dem Start wird sie weiterhin ausgeführt, sobald die Daten eingehen.

   

Bereinigen von Ressourcen

Wenn Sie die Ressourcen nicht mehr benötigen, löschen Sie die Ressourcengruppe, den Stream Analytics-Auftrag und alle zugehörigen Ressourcen. Durch das Löschen des Auftrags wird die Rechnungsstellung für die Streaming-Einheiten gestoppt, die der Auftrag verbraucht. Wenn Sie beabsichtigen, den Auftrag in Zukunft zu verwenden, können Sie ihn beenden und später bei Bedarf neu starten. Wenn Sie diesen Job nicht weiter verwenden möchten, löschen Sie alle Ressourcen, die Sie in diesem Tutorial erstellt haben, mithilfe der folgenden Schritte:

1. Wählen Sie im linken Menü im Azure-Portal Ressourcengruppen und dann den Namen der von Ihnen erstellten Ressource aus.
2. Klicken Sie auf der Seite mit Ihrer Ressourcengruppe auf Löschen, geben Sie im Textfeld den Namen der zu löschenden Ressource ein, und klicken Sie dann auf Löschen.

Nächste Schritte

In diesem Lernprogramm haben Sie einen einfachen Stream Analytics-Auftrag erstellt, die eingehenden Daten gefiltert und Ergebnisse in einer Delta-Tabelle im ADLS Gen2-Konto geschrieben. Weitere Informationen zu Stream Analytics-Aufträgen finden Sie unter: