Condividi tramite

Procedure consigliate per la migrazione per Azure Data Factory a Fabric Data Factory

Microsoft Fabric unifica gli strumenti di analisi di Microsoft in una singola piattaforma SaaS, offrendo funzionalità affidabili per orchestrazione del flusso di lavoro, spostamento dei dati, replica e trasformazione su larga scala. Fabric Data Factory si basa su Azure Data Factory (ADF), rendendola una scelta ideale per modernizzare le soluzioni di integrazione dei dati.

Questa guida illustra strategie, considerazioni e approcci di migrazione che consentono di eseguire l'aggiornamento da Azure Data Factory a Fabric Data Factory.

Considerazioni prima della migrazione

Prima di eseguire la migrazione, valutare cosa riutilizzare, tradurre o riprogettare. Seguire questa procedura per garantire una transizione senza problemi:

  1. Identificare i modelli di autenticazione, ad esempio l'identità gestita o l'autenticazione basata su chiave.
  2. Esaminare i requisiti di rete, inclusi endpoint privati e gateway.
  3. Eseguire la mappatura della semantica di programmazione e dei trigger e allineare le configurazioni di monitoraggio e di avviso.
  4. Confrontare le funzionalità di ADF (Azure Data Factory) con quelle delle controparti Fabric, osservando eventuali mancanze come SSIS o flussi di dati.
  5. Definire destinazioni non funzionali, ad esempio contratti di servizio, velocità effettiva, limiti dei costi e osservabilità.
  6. Crea uno scenario di test con set di dati di esempio e output previsti per confrontare oggettivamente le esecuzioni di ADF e Fabric.
  7. Pianifica la rotazione dei segreti, le convenzioni di denominazione e l'architettura dell'area di lavoro, affinché la migrazione migliori, non solo riproduca, la strategia di integrazione dei dati corrente.

Un approccio in più fasi con la convalida side-by-side e i piani di rollback riduce al minimo i rischi, consentendo un'esecuzione più rapida, un monitoraggio centralizzato e un'integrazione più approfondita con Microsoft Fabric.

Per le migrazioni di grandi dimensioni, è consigliabile collaborare con partner Microsoft certificati o con il team Microsoft account per indicazioni.

Connessioni, servizi collegati e set di dati

In Azure Data Factory (ADF), i servizi collegati e i set di dati definiscono connessioni e strutture di dati. In Fabric questi elementi vengono mappati alle impostazioni di connections e activity, con maggiore attenzione al riutilizzo a livello di area di lavoro e all'identità gestita. Ecco come adattare gli asset di Azure Data Factory:

  1. Esaminare la continuità del connettore tra Azure Data Factory e Fabric per confermare il supporto per le origini dati e le destinazioni.
  2. Consolidare le connessioni ridondanti per semplificare la gestione.
  3. Adottare l'identità gestita per l'autenticazione sicura e coerente.
  4. Standardizzare la parametrizzazione di cartelle e tabelle usando convenzioni di denominazione chiare, ad esempio: conn-sql-warehouse-sales o ds-lh-raw-orders.

Per garantire coerenza e scalabilità, documentare completamente ogni origine e destinazione con:

  • Proprietari
  • Livelli di sensibilità
  • Impostazioni di ripetizione dei tentativi

Questa documentazione aiuta a standardizzare le operazioni attraverso le pipeline e migliora la governance.

Runtime di integrazione e OPDG, il gateway di rete virtuale

Azure Data Factory (ADF) usa Integration Runtimes (IRs) per definire le risorse di calcolo per l'elaborazione dei dati. Questi includono:

  • Cloud IRs per le risorse di calcolo ospitate su Azure.
  • IR ospitati localmente (SHIR) per fonti locali o in rete privata.
  • SSIS IRs per SQL Server Integration Services.
  • IR abilitati per la VNet per la connettività di rete sicura.

In Fabric, queste opzioni si mappano a cloud execution, On-premises Data Gateway (OPDG) e Virtual Network Data Gateway. Ecco come pianificare la migrazione:

  1. Identificare le pipeline che si basano su SHIR e pianificare il mapping del gateway e il dimensionamento della capacità.
  2. Convalidare DNS, uscita, regole del firewall e autenticazione per ogni connettore.
  3. Verificare gli scenari di failover per garantire l'affidabilità.
  4. Quando possibile, eseguire la migrazione a endpoint privati o gateway dati di rete virtuale per semplificare le verifiche di sicurezza e ridurre il sovraccarico operativo.

Fabric semplifica la gestione del calcolo usando risorse basate sul cloud all'interno delle capacità di Fabric. Le runtime di integrazione SSIS non sono disponibili in Fabric. Per la connettività locale, usare il gateway dati locale (OPDG). Per una connessione di rete sicura, utilizzare il Gateway Dati di Rete Virtuale.

Durante la migrazione:

  • Non è necessario spostare gli IR di rete pubblica Azure.
  • Ricreare gli SHIR come OPDG.
  • Sostituire gli Azure Integration Runtime abilitati alla rete virtuale con i gateway dati Virtual Network.

Differenze di attività della pipeline

Tutte le attività principali in Azure Data Factory (ADF), ad esempio Copy, Lookup, Stored procedure/SQL Script, Web e Control flow, hanno equivalenti diretti in Fabric. Esistono tuttavia alcune differenze nelle proprietà, nella sintassi delle espressioni e nei limiti. Quando si esegue la migrazione, esaminare quanto segue:

  • Politiche di ripetizione dei tentativi e timeout.
  • Impostazioni di paginazione per le origini REST.
  • Configurazioni di copia binaria e tabulare.
  • Modelli foreach e di filtro.
  • Variabili di sistema usate nel contenuto dinamico.

Fabric spesso offre più opzioni native per determinate attività. Ad esempio, utilizza script SQL in un Data Warehouse anziché il richiamo di una procedura memorizzata generica per migliorare la tracciabilità e il monitoraggio. Per semplificare la migrazione, centralizzare espressioni comuni come percorsi, date e URI specifici del tenant nei parametri della pipeline. Ciò riduce la deriva e accelera i test.

Per altre informazioni, vedere la continuità delle attività tra Azure Data Factory e Fabric.

Differenze del flusso di dati

Azure Data Factory (ADF) Mapping dei flussi di dati non vengono mappati direttamente a Fabric. In genere verranno rielaborate usando una delle opzioni seguenti:

  • Flusso di dati Gen2 per trasformazioni di rowset e trasformazioni governate, a basso codice.
  • Fabric Warehouse SQL per attività ELT basate su set, ad esempio operazioni MERGE o ELT vicine ai dati.
  • Notebook Spark per trasformazioni avanzate, logica complessa o elaborazione su larga scala.

Durante la migrazione, convalidare quanto segue:

  • Tipi di dati e gestione dei valori Null.
  • Chiavi surrogate e dimensioni a cambiamento lento.
  • Modelli ELT idempotenti, ad esempio staging e MERGE, per garantire riesecuzioni prevedibili.

Per gli scenari di migrazione, vedere Eseguire la migrazione da Dataflow Gen1 a Dataflow Gen2.

Parametri globali in Azure Data Factory

Fabric usa librerie a livello di spazio di lavoro Variable Libraries per definire costanti tra elementi di Fabric. Quando si esegue la migrazione a Microsoft Fabric Data Factory, è necessario convertire i parametri globali Azure Data Factory in librerie di variabili.

Per indicazioni complete sulla conversione, vedere Convert ADF Global Parameters to Fabric Variable Libraries.

offerte partner Azure Marketplace

I partner di migrazione attendibili, ad esempio Bitwise Global, offrono strumenti utili per la migrazione. Questi strumenti possono:

  • Analizzare l'ambiente di Azure Data Factory (ADF).
  • Generare elementi Fabric di destinazione.
  • Eseguire l'analisi dell'impatto e il rilevamento della derivazione.
  • Creare piani di test automatizzati.

Queste soluzioni sono particolarmente utili se si dispone di:

  • Centinaia di *pipeline*.
  • Connettori diversi.
  • Requisiti rigorosi di tempo di inattività.

Gli strumenti partner standardizzano le regole di mapping, generano report di conversione ed eseguono test di convalida paralleli. In questo modo è possibile confrontare i conteggi delle righe, i checksum e le prestazioni tra gli ambienti vecchi e nuovi. Anche se non si usa un partner per l'intera migrazione, i moduli di individuazione e valutazione consentono di avviare la pianificazione interna e ridurre le incertezze.

Usare gli strumenti di intelligenza artificiale

Modelli di linguaggio di grandi dimensioni come Microsoft Copilot, ChatGPT e Claude possono velocizzare le attività di migrazione. Questi strumenti sono utili per:

  • Ristrutturazione delle espressioni.
  • Conversione della sintassi JSON di Azure Data Factory (ADF) in sintassi Fabric.
  • Scrittura di istruzioni MERGE.
  • Generazione di modelli di connessione.
  • Creazione di script di convalida.

È anche possibile usarli per creare documentazione, ad esempio runbook, dizionari dati ed elenchi di controllo per la migrazione, assicurandosi che i tecnici e gli operatori rimangano allineati. Tuttavia, mantenere questi strumenti coinvolti, non al comando:

  • Evitare di incollare informazioni riservate negli strumenti di intelligenza artificiale.
  • Convalidare tutti gli elementi in un ambiente di sviluppo.
  • Usare test automatizzati come conteggi di righe, confronti di schema e verifiche delle regole aziendali, per rilevare problemi sottili, ad esempio mancate corrispondenze dei tipi o analisi delle date in base al contesto locale.

Per altre informazioni, vedere Use Copilot in Data Factory and AI in Microsoft Fabric.

Percorsi di migrazione

I percorsi di migrazione dipendono dalle risorse di Azure Data Factory e dalla parità delle funzionalità. Le opzioni includono:

Contenuti correlati

Confronta Azure Data Factory con Data Factory in Fabric

  • Last updated on