Använd Azure Data Lake Tools för Visual Studio Code

I den här artikeln får du lära dig hur du kan använda Azure Data Lake Tools för Visual Studio Code (VS Code) för att skapa, testa och köra U-SQL-skript. Informationen beskrivs också i följande video:

Förutsättningar

Azure Data Lake Tools för VS Code stöder Windows, Linux och macOS. Lokal U-SQL-körning och lokal felsökning fungerar endast i Windows.

• Visual Studio Code

För macOS och Linux:

• .NET 5.0 SDK
• Mono 5.2.x

Installera Azure Data Lake Tools

När du har installerat förhandskraven kan du installera Azure Data Lake Tools för VS Code.

Så här installerar du Azure Data Lake Tools

1. Öppna Visual Studio Code.

2. Välj Tillägg i det vänstra fönstret. Ange Azure Data Lake Tools i sökrutan.

3. Välj Installera bredvid Azure Data Lake Tools.

   

   Efter några sekunder ändras knappen Installera till Läs in igen.

4. Välj Läs in igen för att aktivera Azure Data Lake Tools-tillägget .

5. Välj Läs in fönstret igen för att bekräfta. Du kan se Azure Data Lake Tools i fönstret Tillägg .

Aktivera Azure Data Lake Tools

Skapa en .usql-fil eller öppna en befintlig .usql-fil för att aktivera tillägget.

Arbeta med U-SQL

Om du vill arbeta med U-SQL behöver du antingen öppna en U-SQL-fil eller en mapp.

Öppna exempelskriptet

Öppna kommandopaletten (Ctrl+Skift+P) och ange ADL: Öppna exempelskript. Den öppnar en annan instans av detta exempel. Du kan också redigera, konfigurera och skicka ett skript för den här instansen.

Så här öppnar du en mapp för ditt U-SQL-projekt

1. Välj menyn Arkiv i Visual Studio Code och välj sedan Öppna mapp.

2. Ange en mapp och välj sedan Välj mapp.

3. Välj menyn Arkiv och välj sedan Nytt. En namnlös-1-fil läggs till i projektet.

4. Ange följande kod i filen Untitled-1:

   @departments  =
       SELECT * FROM
           (VALUES
               (31,    "Sales"),
               (33,    "Engineering"),
               (34,    "Clerical"),
               (35,    "Marketing")
           ) AS
                 D( DepID, DepName );
   

   UTDATA @departments TILL "/Output/departments.csv" ANVÄNDER Outputters.Csv();

   Skriptet skapar en departments.csv fil med vissa data som ingår i mappen /output.

5. Spara filen som myUSQL.usql i den öppnade mappen.

Kompilera ett U-SQL-skript

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Kompilera skript. Kompileringsresultatet visas i fönstret Utdata . Du kan också högerklicka på en skriptfil och sedan välja ADL: Kompilera skript för att kompilera ett U-SQL-jobb. Kompileringsresultatet visas i fönstret Utdata .

Skicka ett U-SQL-skript

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Skicka jobb. Du kan också högerklicka på en skriptfil och sedan välja ADL: Skicka jobb.

När du har skickat ett U-SQL-jobb visas insändningsloggarna i utdatafönstret i VS Code. Jobbvyn visas i den högra rutan. Om överföringen lyckas visas även jobb-URL:en. Du kan öppna jobb-URL:en i en webbläsare för att spåra jobbstatusen i realtid.

På jobbvyns sammanfattningsflik kan du se jobbinformationen. Huvudfunktionerna omfattar att skicka ett skript på nytt, duplicera ett skript och öppna det i portalen. På fliken DATA i jobbvyn kan du referera till indatafiler, utdatafiler och resursfiler. Filer kan laddas ned till den lokala datorn.

Ange standardkontexten

Du kan ange standardkontexten för att tillämpa den här inställningen på alla skriptfiler om du inte har angett parametrar för filer individuellt.

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ange standardkontext. Eller högerklicka på skriptredigeraren och välj ADL: Ange standardkontext.

3. Välj det konto, den databas och det schema som du vill använda. Inställningen sparas i konfigurationsfilen xxx_settings.json.

   

Ange skriptparametrar

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ställ in skriptparametrar.

3. Filen xxx_settings.json öppnas med följande egenskaper:

   • konto: Ett Azure Data Lake Analytics-konto under din Azure-prenumeration som behövs för att kompilera och köra U-SQL-jobb. Du måste konfigurera datorkontot innan du kompilerar och kör U-SQL-jobb.
   • databas: En databas under ditt konto. Standardvärdet är master.
   • schema: Ett schema i din databas. Standardvärdet är dbo.
   • optionalSettings:
     • prioritet: Prioritetsintervallet är från 1 till 1 000, med 1 som högsta prioritet. Standardvärdet är 1 000.
     • degreeOfParallelism: Parallelism spänner från 1 till 150. Standardvärdet är den maximala parallellitet som tillåts i ditt Azure Data Lake Analytics-konto.

   

Så här ställer du in en Git ignore-fil

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Ställ in Git Ignore.

   • Om du inte har en .gitIgnore-fil i vs code-arbetsmappen skapas en fil med namnet .gitIgnore i mappen. Fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) läggs till i filen som standard. Du kan göra fler uppdateringar om det behövs.
   • Om du redan har en .gitIgnore-fil i arbetsmappen för VS Code lägger verktyget till fyra objekt (usqlCodeBehindReference, usqlCodeBehindGenerated, .cache, obj) i .gitIgnore-filen om de fyra objekten inte ingick i filen.

   

Arbeta med kod bakom filer: C Sharp, Python och R

Azure Data Lake Tools stöder flera anpassade koder. Anvisningar finns i Utveckla U-SQL med Python, R och C Sharp för Azure Data Lake Analytics i VS Code.

Arbeta med sammansättningar

Information om hur du utvecklar sammansättningar finns i Utveckla U-SQL-sammansättningar för Azure Data Lake Analytics-jobb.

Du kan använda Data Lake Tools för att registrera anpassade kodsammansättningar i Data Lake Analytics-katalogen.

Registrera en sammansättning

Du kan registrera sammansättningen via kommandot ADL: Register Assembly eller ADL: Register Assembly (Advanced).

Så här registrerar du via kommandot ADL: Register Assembly

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.
2. Ange ADL: Registrera sammansättning.
3. Ange den lokala sammansättningssökvägen.
4. Välj ett Data Lake Analytics-konto.
5. Välj en databas.

Portalen öppnas i en webbläsare och visar processen för registrering av montering.

Ett enklare sätt att utlösa kommandot ADL: Registrera sammansättning är att högerklicka på filen .dll i Utforskaren.

Registrera dig via kommandot ADL: Register Assembly (Advanced)

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Registrera sammansättning (avancerat).

3. Ange den lokala sammansättningssökvägen.

4. JSON-filen visas på skärmen. Granska och redigera sammansättningsberoenden och resursparametrar om det behövs. Instruktioner visas i fönstret Utdata. Om du vill fortsätta till sammansättningsregistreringen sparar du JSON-filen (Ctrl+S).

   

Ett annat sätt att utlösa kommandot ADL: Register Assembly (Advanced) är att högerklicka på filen .dll i Utforskaren.

Följande U-SQL-kod visar hur du anropar en sammansättning. I exemplet är sammansättningsnamnet test.

REFERENCE ASSEMBLY [test];
@a =
    EXTRACT
        Iid int,
    Starts DateTime,
    Region string,
    Query string,
    DwellTime int,
    Results string,
    ClickedUrls string
    FROM @"Sample/SearchLog.txt"
    USING Extractors.Tsv();
@d =
    SELECT DISTINCT Region
    FROM @a;
@d1 =
    PROCESS @d
    PRODUCE
        Region string,
    Mkt string
    USING new USQLApplication_codebehind.MyProcessor();
OUTPUT @d1
    TO @"Sample/SearchLogtest.txt"
    USING Outputters.Tsv();

Använda lokal U-SQL-körning och lokal felsökning för Windows-användare

Lokal U-SQL-körning testar dina lokala data och verifierar skriptet lokalt innan koden publiceras till Data Lake Analytics. Du kan använda den lokala felsökningsfunktionen för att slutföra följande uppgifter innan koden skickas till Data Lake Analytics:

• Felsöka din C#-kod bakom.
• Steppa igenom koden.
• Verifiera skriptet lokalt.

Funktionen lokal körning och lokal felsökning fungerar bara i Windows-miljöer och stöds inte på macOS- och Linux-baserade operativsystem.

Anvisningar om lokal körning och lokal felsökning finns i Lokal U-SQL-körning och lokal felsökning med Visual Studio Code.

Ansluta till Azure

Innan du kan kompilera och köra U-SQL-skript i Data Lake Analytics måste du ansluta till ditt Azure-konto.

Så här ansluter du till Azure med hjälp av ett kommando

1. Välj Ctrl+Skift+P för att öppna kommandopaletten.

2. Ange ADL: Logga in. Inloggningsinformationen visas längst ned till höger.

   

   

3. Välj Kopiera och öppna för att öppna inloggningswebbsidan. Klistra in koden i rutan och välj sedan Fortsätt.

   

4. Följ anvisningarna för att logga in från webbsidan. När du är ansluten visas ditt Azure-kontonamn i statusfältet i det nedre vänstra hörnet i VS Code-fönstret.

Om du vill logga ut anger du kommandot ADL: Logout.

Så här ansluter du till Azure från utforskaren

Expandera AZURE DATALAKE, välj Logga in på Azure och följ sedan steg 3 och steg 4 för Att ansluta till Azure med hjälp av ett kommando.

Du kan inte logga ut från utforskaren. Information om hur du loggar ut finns i Ansluta till Azure med hjälp av ett kommando.

Skapa ett extraheringsskript

Du kan skapa ett extraheringsskript för .csv, .tsv och .txt filer med hjälp av kommandot ADL: Skapa EXTRAHERingsskript eller från Azure Data Lake Explorer.

Skapa ett extraheringsskript med hjälp av ett kommando

1. Välj Ctrl+Skift+P för att öppna kommandopaletten och ange ADL: Skapa EXTRACT-skript.
2. Ange den fullständiga sökvägen för en Azure Storage-fil och tryck på Enter-tangenten.
3. Välj ett konto.
4. För en .txt fil väljer du en avgränsare för att extrahera filen.

Extraheringsskriptet genereras baserat på dina poster. För ett skript som inte kan identifiera kolumnerna väljer du ett av de två alternativen. Om inte genereras bara ett skript.

Skapa ett extraheringsskript från utforskaren

Ett annat sätt att skapa extraheringsskriptet är genom snabbmenyn som visas när du högerklickar på en .csv-, .tsv- eller .txt-fil i Azure Data Lake Store eller Azure Blob Storage.

Nästa steg

• Utveckla U-SQL med Python, R och C Sharp för Azure Data Lake Analytics i VS Code
• lokal U-SQL-körning och lokal felsökning med Visual Studio Code
• Självstudie: Kom igång med Azure Data Lake Analytics
• Självstudie: Utveckla U-SQL-skript med hjälp av Data Lake Tools för Visual Studio