Zelfstudie: SSIS-pakketten gebruiken om bestanden naar OneLake te schrijven via Azure Data Lake Storage Gen2

In deze zelfstudie leert u hoe u een bestaand SSIS-pakket uitvoert waarmee bestanden naar Azure Data Lake Storage (ADLS) Gen2 worden geschreven en deze bestanden vervolgens in OneLake worden weergegeven met behulp van een snelkoppeling. Door de activiteit SSIS-pakket aanroepen in Data Factory voor Microsoft Fabric te combineren met OneLake-snelkoppelingen, kunt u al uw gegevens in OneLake centraliseren, zelfs gegevens die worden geproduceerd door verouderde SSIS-workloads.

Gebruiksituatie

Veel organisaties hebben SSIS-pakketten waarmee gegevens worden geëxtraheerd en getransformeerd. Schrijf vervolgens de resultaten als platte bestanden (CSV, Parquet, XML en andere) naar Azure Data Lake Storage Gen2. Deze bestanden worden gebruikt door downstreamanalyse- en rapportagesystemen.

Met Microsoft Fabric kunt u deze bestanden overbrengen naar OneLake zonder de logica van uw SSIS-pakket te wijzigen:

  • Bestaande SSIS-investeringen behouden - Blijf gebruik maken van door slag geteste pakketten die bestanden naar ADLS Gen2 schrijven via azure Storage-verbindingsbeheer. Er is geen herschrijven van het pakket vereist.
  • Centraliseer gegevens in OneLake - Maak een ADLS Gen2-snelkoppeling in een Fabric Lakehouse, zodat bestanden die zijn geschreven door SSIS automatisch worden weergegeven in OneLake, klaar voor gebruik door Spark, SQL, Power BI en andere Fabric-workloads.
  • Orchestreren in Fabric - Gebruik de activiteit SSIS-pakket aanroepen in een Fabric-pijplijn om de uitvoering van pakketten te plannen en bewaken naast andere Fabric-activiteiten.

Vereiste voorwaarden

Zorg ervoor dat u voordat u begint de volgende zaken paraat hebt:

  • Een Microsoft Fabric-werkruimte met een Fabric-capaciteit of -proefversie.
  • Een lakehouse in de werkruimte.
  • Een Azure Data Lake Storage Gen2-opslagaccount met hiërarchische naamruimte ingeschakeld.
  • Een SSIS-pakket (.dtsx) dat gebruikmaakt van een Azure Storage-verbindingsbeheer voor het schrijven van bestanden naar ADLS Gen2.
  • Verificatiegegevens voor het ADLS Gen2-account, zoals een accountsleutel, Shared Access Signature (SAS), service-principal of organisatieaccount, met ten minste de Storage Blob Data Contributor-rol.

Overzicht

De end-to-end-werkstroom heeft vier stappen:

Stap Wat u doet Resultaat
1 Het SSIS-pakket configureren voor het schrijven van bestanden naar ADLS Gen2 Pakket produceert uitvoerbestanden in uw opslagaccount
2 Een ADLS Gen2-snelkoppeling maken in een Fabric Lakehouse Bestanden die naar ADLS Gen2 zijn geschreven, worden automatisch weergegeven in OneLake
3 Het SSIS-pakket uploaden naar OneLake Pakket wordt opgeslagen in OneLake en kan worden aangeroepen
4 Het pakket uitvoeren vanuit een Fabric-pijplijn Pipeline orkestreert de uitvoering en schrijft de uitvoer naar OneLake.

Stap 1: het SSIS-pakket configureren voor het schrijven van bestanden naar ADLS Gen2

In deze stap zorgt u ervoor dat uw SSIS-pakket een Azure Storage-verbindingsbeheerder gebruikt om bestanden naar uw ADLS Gen2-account te schrijven.

  1. Open uw SSIS-project in Visual Studio met de extensie SQL Server Integration Services Projects.

  2. Installeer het Azure Feature Pack voor Integration Services (SSIS). Het feature pack biedt azure Storage-verbindingsbeheer, Azure Blob-bron, Azure Blob-bestemming en andere Azure-gerelateerde taken en onderdelen die nodig zijn om verbinding te maken met ADLS Gen2 vanuit een SSIS-pakket.

  3. Voeg in het systeemvak Verbindingsbeheer een AzureStorage-verbindingsbeheerder toe (of verifieer deze). Stel de volgende eigenschappen in:

    Vastgoed Waarde
    Service ADLS Gen2
    Authentication Kies er een: AccessKey, ServicePrincipal of SharedAccessSignature
    accountnaam De naam van uw ADLS Gen2-opslagaccount

    Schermopname van het configuratiedialoogvenster van Azure Storage-verbindingsbeheer.

  4. Configureer uw gegevensstroom- of bestandssysteemtaak voor het gebruik van dit verbindingsbeheer en schrijf uitvoerbestanden naar een container en mappad in het opslagaccount, mycontainer\myfolderbijvoorbeeld.

    Schermopname van de configuratie van de gegevensstroom met het container- en mappad voor het opslagaccount.

  5. Test de verbinding en controleer of het pakket correct wordt uitgevoerd op uw lokale computer.

Zie Azure Storage-verbindingsbeheer voor volledige informatie over azure Storage-verbindingsbeheer.

Aanbeveling

Als uw pakket gebruikmaakt van het beveiligingsniveau DontSaveSensitive , blijven referenties niet behouden in het pakketbestand. U geeft deze tijdens runtime op via het tabblad Verbindingsbeheer van de activiteit SSIS-pakket aanroepen. U kunt ook het pakketbeveiligingsniveau instellen op EncryptSensitiveWithPassword, waarmee referenties in het pakket worden versleuteld. Vervolgens geeft u het pakketwachtwoord op in de activiteit SSIS-pakket aanroepen tijdens runtime in plaats van afzonderlijke verbindingsbeheerreferenties op te geven (stap 4).

Stap 2: Een ADLS Gen2-snelkoppeling maken in een Fabric Lakehouse

Een snelkoppeling maakt de bestanden die zijn geschreven door uw SSIS-pakket zichtbaar in OneLake zonder gegevens te kopiëren. Elke Fabric-workload - Spark, SQL-analytics-eindpunt, Power BI - kan de bestanden lezen via de snelkoppeling.

  1. Open uw lakehouse in het Fabric-portal.

  2. Klik in het deelvenster Explorer met de rechtermuisknop op de map Bestanden (of een submap) en selecteer Nieuwe snelkoppeling.

  3. Selecteer onder Externe bronnen Azure Data Lake Storage Gen2.

  4. Voer de verbindings-URL in: het DFS-eindpunt voor uw opslagaccount:

    https://<STORAGE_ACCOUNT_NAME>.dfs.core.windows.net

  5. Selecteer een bestaande verbinding of maak een nieuwe. Kies een authenticatietype met ten minste de rol Opslagblobgegevenslezer in het opslagaccount.

  6. Selecteer Volgende en blader vervolgens naar de container en map waarin uw SSIS-pakket bestanden schrijft (bijvoorbeeld mycontainer).

  7. Selecteer de doelmap en selecteer vervolgens Volgende → Maken.

    Schermopname van het dialoogvenster voor het maken van snelkoppelingen met de geselecteerde opslagcontainer.

De snelkoppeling wordt nu weergegeven in uw lakehouse. Elk bestand dat door het SSIS-pakket naar de doelmap ADLS Gen2 wordt geschreven, is automatisch toegankelijk in OneLake via deze snelkoppeling.

Zie Een Snelkoppeling voor Azure Data Lake Storage Gen2 maken voor gedetailleerde instructies. Voor meer informatie over snelkoppelingen, zie OneLake-snelkoppelingen.

Stap 3: Het SSIS-pakket uploaden naar OneLake

De activiteit SSIS-pakket aanroepen leest pakketten uit OneLake. Upload uw DTSX-bestand (en optioneel .dtsConfig-bestand ) naar een lakehouse.

  1. Open in de Fabric-portal het lakehouse waar u het pakket wilt opslaan.

  2. Maak in de sectie Bestanden een map , bijvoorbeeld ssis-packages.

  3. Upload het pakket met behulp van een van de volgende methoden:

    Methode Hoe
    Fabricanetwerkportal Selecteer Uploaden → Bestanden uploaden en kies uw DTSX-bestand .
    OneLake-bestandsverkenner Sleep het bestand naar de packages map via de OneLake-verkenner op uw bureaublad.

Zie de documentatie voor de activiteit SSIS-pakket aanroepen voor meer informatie over het uploaden van bestanden naar OneLake.

Stap 4: het pakket uitvoeren in een Fabric-pijplijn

  1. Maak in uw Fabric-werkruimte een nieuwe gegevenspijplijn of open een bestaande pijplijn.

  2. Voeg in het deelvenster Activiteiten de activiteit SSIS-pakket aanroepen toe aan het pijplijncanvas.

  3. Configureer de activiteit op het tabblad Instellingen :

    Configuratie Waarde
    Pakketpad Blader naar het DTSX-bestand dat u in stap 3 hebt geüpload.
    Configuratiepad(optioneel) Blader naar het DTSConfig-bestand , indien van toepassing.
    Versleutelingswachtwoord(optioneel) Als het pakketbeveiligingsniveau EncryptSensitiveWithPassword of EncryptAllWithPassword is, geeft u het wachtwoord op dat wordt gebruikt om het pakket te versleutelen.
    Logboekregistratie inschakelen Selecteer deze optie om uitvoeringslogboeken naar OneLake te schrijven.

    Schermopname van het tabblad Instellingen voor de activiteit SSIS-pakket aanroepen in een Fabric-pijplijn.

  4. Selecteer Opslaan en vervolgens Uitvoeren om de pijplijn onmiddellijk uit te voeren of selecteer Planning om terugkerende uitvoering in te stellen.

  5. Controleer de voortgang op het tabblad Uitvoer van de pijplijn of de werkruimte monitorhub . Als logboekregistratie is ingeschakeld, bevat de activiteitsuitvoer het logboekpad in OneLake.

Zie De activiteit SSIS-pakket aanroepen gebruiken om een SSIS-pakket uit te voeren voor volledige configuratiedetails.

De resultaten controleren

Nadat de pijplijnuitvoering succesvol is voltooid:

  1. Open het lakehouse en navigeer naar de snelkoppeling die u in stap 2 hebt gemaakt.
  2. Controleer of de uitvoerbestanden die zijn geschreven door het SSIS-pakket, worden weergegeven in de snelkoppelingsmap.

Overzicht

Door een aantal Fabric-mogelijkheden te combineren, kunt u SSIS-uitvoer op basis van bestanden overbrengen naar OneLake zonder uw bestaande pakketten te wijzigen:

  1. Azure Storage-verbindingsbeheer schrijft bestanden naar ADLS Gen2 vanuit uw SSIS-pakket.
  2. Met OneLake-snelkoppeling worden deze bestanden in een Fabric Lakehouse weergegeven. Er is geen gegevenskopie vereist.
  3. Pakketupload naar OneLake maakt het .dtsx-bestand beschikbaar voor het uitvoeren van een Fabric-pijplijn.
  4. De activiteit 'SSIS-pakket oproepen' orkestreert en bewaakt de uitvoering van pakketten in een Fabric-pijplijn.

Met dit patroon kunt u al uw gegevens in OneLake beheren en tegelijkertijd uw bestaande SSIS-investeringen behouden.

Verwante inhoud

  • Last updated on