Zelfstudie: SSIS integreren met Fabric Data Warehouse

van toepassing op:SQL Server SSIS Integration Runtime in Azure Data Factory

Dit artikel is gericht op de aanbevolen procedures voor het gebruik van bestaande SSIS-pakketten om te werken met datawarehouse in fabric-platform.

Introductie

Microsoft Fabric is een uitgebreid analyseplatform dat betrekking heeft op elk aspect van de gegevens van een organisatie. Een van de belangrijkste ervaringen is Fabric Data Warehouse, dat fungeert als een vereenvoudigde SaaS-oplossing voor een volledig transactioneel magazijn. Gegevens worden opgeslagen in OneLake met behulp van een open indeling met de naam Delta Parquet, zodat gegevens toegankelijk zijn voor andere ervaringen in Fabric en andere clienttoepassingen die verbinding maken met behulp van SQL-stuurprogramma's.

Als analyseplatform ondersteunt Microsoft Fabric uitsluitend verificatie via Microsoft Entra ID voor gebruikers en service-principals (SPN's). Deze opzettelijke keuze zorgt voor gecentraliseerde en identiteitsgebaseerde beveiliging, afgestemd op moderne beveiligingsprocedures. SQL-verificatie en andere verificatiemethoden worden dus niet ondersteund in Fabric Data Warehouse binnen het fabric-ecosysteem.

Integratie met Fabric Data Warehouse

Microsoft SQL Server Integration Services (SSIS) is een onderdeel van de Microsoft SQL Server-database die een ETL-oplossing is. Veel zakelijke klanten gebruiken SSIS op grote schaal om on-premises ETL uit te voeren.

Als u naadloos wilt werken met Fabric Data Warehouse, moet u twee belangrijke wijzigingen aanbrengen in uw SSIS-pakket.

Authenticatie

Als u SQL-verificatie of Windows-verificatie gebruikt, configureert u deze opnieuw om Microsoft Entra ID User of Service Principal Name (SPN) te gebruiken. Als u een gebruikersaccount gebruikt, schakelt u meervoudige verificatie (MFA) uit, omdat SSIS geen pop-upprompts ondersteunt. U hebt ook de respectieve stuurprogramma's nodig, zoals vermeld in de volgende secties:

OleDB-verbindingsbeheer gebruiken:

Volg deze stappen om de ADO.NET-verbindingsbeheer te gebruiken:

Bestandsopname

U moet de systeemeigen COPY INTO T-SQL-opdracht gebruiken voor efficiënte gegevensinvoeging in uw magazijn in Microsoft Fabric. Vervang alle DFT-bewerkingen die momenteel afhankelijk zijn van de modus Fast Insert of BCP IN scripts door de COPY INTO instructie met behulp van Sql-taak uitvoeren.

SSIS schrijft gegevens naar Data Warehouse in Fabric

In veelvoorkomende ETL-scenario's leest u gegevens uit verschillende bronnen, zoals transactionele databases, netwerkbestandsshares, lokale of netwerklocaties. U kunt transformatiestappen uitvoeren en de gegevens terugschrijven naar een aangewezen datawarehouse, zoals een SQL-server, een toegewezen Synapse-pool of een ander sql-compatibel gegevensarchief (zoals wordt weergegeven in het volgende diagram).

Diagram van ETL data warehouse als bestemming.

Als u hetzelfde SSIS-pakket naar Fabric Data Warehouse wilt schrijven, moet u eerst de verificatie bijwerken naar Microsoft Entra ID als deze nog niet wordt gebruikt. Ten tweede, faseer de gegevens tijdelijk in een ADLS Gen2. Geef vervolgens het pad door naar de opdracht COPY INTO in SQL-taak uitvoeren.

Flexible File Destination-component maakt het mogelijk dat een SSIS-pakket gegevens schrijft naar Azure Data Lake Storage Gen2 (ADLS Gen2). Voeg binnen de gegevensstroomtaak, na het laden en transformeren, een Flexibele bestandsbestemming toe, waarin u de naam en locatie van het doelbestand in ADLS Gen2 kunt definiëren.

Schermopname van flexibele bestandsbestemming deel 1.

Schermopname van flexibele bestandsbestemming deel 2.

Schermopname van flexibele bestandsbestemming deel 3.

U kunt ingestie van gegevens die zijn geland in Azure Data Lake Storage (ADLS) Gen2 in een datawarehouse uitvoeren met de COPY instructie rechtstreeks via Executeer SQL-taak.

Bijvoorbeeld (vervang <storage_account>, <storage_account_key> en account_key door geldige waarden):

COPY INTO table_name FROM 'https://<storage_account>.dfs.core.windows.net/<folder>/'
WITH (FILE_TYPE = 'CSV',
     CREDENTIAL = (IDENTITY = '<storage_account_key>',
                  SECRET = '<account_key>'),
     FIELDQUOTE = '"',
     FIELDTERMINATOR = ',',
     ROWTERMINATOR = '0x0A',
     ENCODING = 'UTF8'
);

Schermopname van SQL-taak uitvoeren.

Zie Gegevens opnemen in uw magazijn met behulp van de COPY-instructie voor meer gedetailleerde instructies.

Beperkingen

Fabric Data Warehouse ondersteunt een subset van T-SQL-gegevenstypen en niet alle T-SQL-opdrachten worden momenteel ondersteund. Uw pakketten kunnen mislukken vanwege niet-ondersteunde functies. Voor meer informatie controleert u de gegevenstypen in het datawarehouse en het T-SQL-oppervlak in Fabric Data Warehouse.

Verwante inhoud

  • Last updated on