Verwenden von Azure Data Lake Tools für Visual Studio Code

In diesem Artikel erfahren Sie, wie Sie Azure Data Lake Tools für Visual Studio Code (VS Code) zum Erstellen, Testen und Ausführen von U-SQL-Skripts verwenden können. Die Informationen werden auch im folgenden Video behandelt:

Voraussetzungen

Azure Data Lake Tools für VS Code unterstützt Windows, Linux und macOS. Die lokale Ausführung von U-SQL und das lokale Debuggen funktioniert nur in Windows.

• Visual Studio Code

Für macOS und Linux:

• .NET 5.0 SDK
• Mono 5.2.x

Installieren von Azure Data Lake Tools

Nachdem Sie die erforderlichen Komponenten installiert haben, können Sie Azure Data Lake Tools für VS Code installieren.

So installieren Sie Azure Data Lake Tools

1. Öffnen Sie Visual Studio Code.

2. Wählen Sie im linken Bereich Erweiterungen aus. Geben Sie azure Data Lake Tools in das Suchfeld ein.

3. Wählen Sie " Installieren " neben den Azure Data Lake Tools aus.

   

   Nach ein paar Sekunden ändert sich die Schaltfläche " Installieren " in " Neu laden".

4. Wählen Sie "Neu laden" aus, um die Erweiterung "Azure Data Lake Tools " zu aktivieren.

5. Wählen Sie " Fenster erneut laden" aus, um dies zu bestätigen. Sie können die Azure Data Lake-Tools im Bereich "Erweiterungen " sehen.

Aktivieren von Azure Data Lake Tools

Erstellen Sie eine USQL-Datei, oder öffnen Sie eine vorhandene USQL-Datei, um die Erweiterung zu aktivieren.

Arbeiten mit U-SQL

Um mit U-SQL zu arbeiten, müssen Sie entweder eine U-SQL-Datei oder einen Ordner öffnen.

So öffnen Sie das Beispielskript

Öffnen Sie die Befehlspalette (STRG+UMSCHALT+P), und geben Sie ADL ein: Beispielskript öffnen. Es öffnet eine weitere Instanz dieses Beispiels. Sie können ein Skript auch in dieser Instanz bearbeiten, konfigurieren und übermitteln.

So öffnen Sie einen Ordner für Ihr U-SQL-Projekt

1. Wählen Sie in Visual Studio Code das Menü "Datei " und dann " Ordner öffnen" aus.

2. Geben Sie einen Ordner an, und wählen Sie dann "Ordner auswählen" aus.

3. Wählen Sie das Menü "Datei " und dann " Neu" aus. Dem Projekt wird eine Untitled-1 Datei hinzugefügt.

4. Geben Sie den folgenden Code in die Datei "Unbenannt-1" ein:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   OUTPUT @departments TO "/Output/departments.csv" USING Outputters.Csv();

   Das Skript erstellt eine departments.csv Datei mit einigen Daten, die im Ordner "/output" enthalten sind.

5. Speichern Sie die Datei als myUSQL.usql im geöffneten Ordner.

So kompilieren Sie ein U-SQL-Skript

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.
2. Geben Sie ADL ein: Kompilierungsskript. Die Kompilierungsergebnisse werden im Ausgabefenster angezeigt. Sie können auch mit der rechten Maustaste auf eine Skriptdatei klicken und dann ADL: Kompilieren eines Skripts auswählen, um einen U-SQL-Auftrag zu kompilieren. Das Kompilierungsergebnis wird im Ausgabebereich angezeigt.

So übermitteln Sie ein U-SQL-Skript

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.
2. Geben Sie ADL ein: Auftrag übermitteln. Sie können auch mit der rechten Maustaste auf eine Skriptdatei klicken und dann ADL: Absendenauftrag auswählen.

Nachdem Sie einen U-SQL-Auftrag übermittelt haben, werden die Übermittlungsprotokolle im Ausgabefenster in VS Code angezeigt. Die Auftragsansicht wird im rechten Fenster angezeigt. Wenn die Übermittlung erfolgreich ist, wird auch die Auftrags-URL angezeigt. Sie können die Auftrags-URL in einem Webbrowser öffnen, um den Echtzeitauftragsstatus nachzuverfolgen.

Auf der Registerkarte "ZUSAMMENFASSUNG " der Auftragsansicht können Sie die Auftragsdetails anzeigen. Hauptfunktionen umfassen das erneute Übermitteln eines Skripts, das Duplizieren eines Skripts und das Öffnen im Portal. Auf der Registerkarte "DATEN " der Auftragsansicht können Sie auf die Eingabedateien, Ausgabedateien und Ressourcendateien verweisen. Dateien können auf den lokalen Computer heruntergeladen werden.

So legen Sie den Standardkontext fest

Sie können den Standardkontext festlegen, um diese Einstellung auf alle Skriptdateien anzuwenden, wenn Sie keine Parameter für Dateien einzeln festgelegt haben.

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.

2. Geben Sie ADL ein: Standardkontext festlegen. Oder klicken Sie mit der rechten Maustaste auf den Skript-Editor, und wählen Sie ADL aus: Standardkontext festlegen.

3. Wählen Sie das gewünschte Konto, die Datenbank und das Schema aus. Die Einstellung wird in der xxx_settings.json Konfigurationsdatei gespeichert.

   

So legen Sie Skriptparameter fest

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.

2. Geben Sie ADL ein: Skriptparameter festlegen.

3. Die datei xxx_settings.json wird mit den folgenden Eigenschaften geöffnet:

   • Konto: Ein Azure Data Lake Analytics-Konto unter Ihrem Azure-Abonnement, das zum Kompilieren und Ausführen von U-SQL-Aufträgen erforderlich ist. Sie müssen das Computerkonto konfigurieren, bevor Sie U-SQL-Aufträge kompilieren und ausführen.
   • Datenbank: Eine Datenbank unter Ihrem Konto. Der Standardwert ist Master.
   • schema: Ein Schema unter Ihrer Datenbank. Der Standardwert ist "dbo".
   • optionalSettings:
     • Priorität: Der Prioritätsbereich liegt zwischen 1 und 1000, wobei 1 als höchste Priorität gilt. Der Standardwert ist 1000.
     • degreeOfParallelism: Der Parallelismusbereich liegt zwischen 1 und 150. Der Standardwert ist die maximale Parallelität, die in Ihrem Azure Data Lake Analytics-Konto zulässig ist.

   

So legen Sie Git-Ignorieren fest

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.

2. Geben Sie ADL ein: Git Ignorieren festlegen.

   • Wenn Sie nicht über eine GITIgnore-Datei in Ihrem VS Code-Arbeitsordner verfügen, wird eine Datei mit dem Namen ".gitIgnore " in Ihrem Ordner erstellt. Standardmäßig werden vier Elemente (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) in der Datei hinzugefügt. Bei Bedarf können Sie weitere Updates vornehmen.
   • Wenn Sie bereits über eine GITIgnore-Datei in Ihrem VS Code-Arbeitsordner verfügen, fügt das Tool vier Elemente (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) in Ihrer GITIgnore-Datei hinzu, wenn die vier Elemente nicht in der Datei enthalten waren.

   

Arbeiten mit Code-Behind-Dateien: C#, Python und R

Azure Data Lake Tools unterstützt mehrere benutzerdefinierte Codes. Anweisungen finden Sie unter Entwickeln von U-SQL mit Python, R und C Sharp für Azure Data Lake Analytics in VS Code.

Arbeiten mit Baugruppen

Informationen zum Entwickeln von Assemblys finden Sie unter Entwickeln von U-SQL-Assemblys für Azure Data Lake Analytics-Aufträge.

Mithilfe von Data Lake Tools können Sie benutzerdefinierte Codeassemblys im Data Lake Analytics-Katalog registrieren.

So registrieren Sie eine Assembly

Sie können die Assembly über den Befehl ADL: Assembly registrieren oder den Befehl ADL: Assembly registrieren (Erweitert) registrieren.

Registrieren Sie sich über den ADL: Befehl "Register Assembly"

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.
2. Geben Sie ADL ein: Assembly registrieren.
3. Geben Sie den lokalen Assemblypfad an.
4. Wählen Sie ein Data Lake Analytics-Konto aus.
5. Wählen Sie eine Datenbank aus.

Das Portal wird in einem Browser geöffnet und zeigt den Assemblyregistrierungsprozess an.

Eine bequemere Möglichkeit, den Befehl ADL: Assembly registrieren auszulösen, besteht darin, im Datei-Explorer mit der rechten Maustaste auf die Datei .dll zu klicken.

So registrieren Sie sich über die ADL: Befehl "Assembly registrieren(Erweitert)"

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.

2. Geben Sie ADL ein: Register Assembly (Erweitert).

3. Geben Sie den lokalen Assemblypfad an.

4. Die JSON-Datei wird angezeigt. Überprüfen und bearbeiten Sie bei Bedarf die Assemblyabhängigkeiten und Ressourcenparameter. Anweisungen werden im Ausgabefenster angezeigt. Um mit der Assemblyregistrierung fortzufahren, speichern Sie die JSON-Datei (STRG+S).

   

Eine weitere Möglichkeit zum Auslösen des Befehls "ADL: Assembly registrieren (Erweitert)" besteht darin, im Datei-Explorer mit der rechten Maustaste auf die .dll Datei zu klicken.

Der folgende U-SQL-Code veranschaulicht, wie eine Assembly aufgerufen wird. Im Beispiel ist der Assemblyname test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Verwenden der lokalen Ausführung von U-SQL und des lokalen Debuggens für Windows-Benutzer

Die lokale Ausführung von U-SQL testet Ihre lokalen Daten und überprüft Ihr Skript lokal, bevor Ihr Code in Data Lake Analytics veröffentlicht wird. Sie können das lokale Debugfeature verwenden, um die folgenden Aufgaben auszuführen, bevor Ihr Code an Data Lake Analytics übermittelt wird:

• Debuggen Sie Ihren C#-Code-behind.
• Code schrittweise durchlaufen
• Überprüfen Sie Ihr Skript lokal.

Die lokale Ausführungs- und lokale Debugfunktion funktioniert nur in Windows-Umgebungen und wird auf macOS- und Linux-basierten Betriebssystemen nicht unterstützt.

Anweisungen zum lokalen Ausführen und lokalen Debuggen finden Sie unter lokales Ausführen von U-SQL und lokalem Debuggen mit Visual Studio Code.

Herstellen einer Verbindung mit Azure

Bevor Sie U-SQL-Skripts in Data Lake Analytics kompilieren und ausführen können, müssen Sie eine Verbindung mit Ihrem Azure-Konto herstellen.

So stellen Sie mithilfe eines Befehls eine Verbindung mit Azure her

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen.

2. Geben Sie ADL ein: Anmelden. Die Anmeldeinformationen werden unten rechts angezeigt.

   

   

3. Wählen Sie "Kopieren" und "Öffnen " aus, um die Anmeldewebseite zu öffnen. Fügen Sie den Code in das Feld ein, und wählen Sie dann "Weiter" aus.

   

4. Folgen Sie den Anweisungen, um sich von der Webseite anzumelden. Wenn Sie verbunden sind, wird Ihr Azure-Kontoname auf der Statusleiste in der unteren linken Ecke des VS-Codefensters angezeigt.

Um sich abzumelden, geben Sie den Befehl ADL: Abmelden ein.

So stellen Sie über den Explorer eine Verbindung mit Azure her

Erweitern Sie AZURE DATALAKE, wählen Sie "Bei Azure anmelden" aus, und folgen Sie dann Schritt 3 und Schritt 4 von "So stellen Sie eine Verbindung mit Azure her, indem Sie einen Befehl verwenden.

Sie können sich nicht vom Explorer abmelden. Informationen zum Abmelden finden Sie unter "Herstellen einer Verbindung mit Azure mithilfe eines Befehls".

Erstellen eines Extraktionsskripts

Sie können ein Extraktionsskript für .csv-, TSV- und .txt-Dateien erstellen, indem Sie den Befehl ADL: Create EXTRACT Script oder aus dem Azure Data Lake-Explorer verwenden.

So erstellen Sie ein Extraktionsskript mithilfe eines Befehls

1. Wählen Sie STRG+UMSCHALT+P aus, um die Befehlspalette zu öffnen, und geben Sie ADL: Create EXTRACT Script ein.
2. Geben Sie den vollständigen Pfad für eine Azure Storage-Datei an, und wählen Sie die EINGABETASTE aus.
3. Wählen Sie ein Konto aus.
4. Wählen Sie für eine .txt Datei ein Trennzeichen aus, um die Datei zu extrahieren.

Das Extraktionsskript wird basierend auf Ihren Einträgen generiert. Wählen Sie für ein Skript, das die Spalten nicht erkennen kann, eine aus den beiden Optionen aus. Wenn nicht, wird nur ein Skript generiert.

So erstellen Sie ein Extraktionsskript aus dem Explorer

Eine weitere Möglichkeit, das Extraktionsskript zu erstellen, ist über das Rechtsklick-Menü der .csv-, .tsv- oder .txt-Datei im Azure Data Lake Store oder Azure Blob Storage.

Nächste Schritte

• Entwickeln von U-SQL mit Python, R und C Sharp für Azure Data Lake Analytics in VS Code
• Lokale Ausführung von U-SQL und lokalem Debuggen mit Visual Studio Code
• Lernprogramm: Erste Schritte mit Azure Data Lake Analytics
• Lernprogramm: Entwickeln von U-SQL-Skripts mithilfe von Data Lake Tools für Visual Studio