Transizione da servizi di integrazione dati legacy

Servizio di esportazione dei dati, Bring Your Own Database (BYOD) ed Esporta in Data Lake erano funzionalità introdotte nelle app Dynamics 365 per esportare dati per scenari di analisi e integrazione dei dati. Questi servizi hanno consentito agli amministratori IT e agli specialisti di esportare i dati in database esterni o data lake e creare pipeline di integrazione dei dati. Abbiamo migliorato questi servizi nel corso degli anni con aggiornamenti come parte dell'unificazione di Dynamics 365 con Power Platform, abbiamo riprogettato le stesse funzionalità di questi servizi diversi in esperienze più semplici e unificate integrate in Power Apps (make.powerapps.com). Con una transizione a Microsoft Fabric Link o l'aggiornamento ad Azure Synapse Link, i servizi riprogettati ti offrono una facile rampa per beneficiare degli investimenti nell'IA e Copilot in Microsoft Dataverse e Fabric.

Se sei un cliente che utilizza uno dei servizi della generazione precedente, questo articolo fornisce indicazioni su come passare alle nuove esperienze, trarre vantaggio dalle innovazioni e ridurre le spese e gli sforzi end-to-end.

Sulla base dei sondaggi in anteprima tra i clienti, abbiamo anche compilato una stima di costi e benefici di alto livello per aiutarti nella transizione. Collegamenti a ulteriori informazioni e video, collegamenti per partecipare a forum e sessioni settimanali in orario d'ufficio per interagire con il team del prodotto, gli esperti Microsoft e gli altri utenti. Ci impegniamo a migliorare questi servizi con la partecipazione della comunità.

Prima della transizione

Se sei un cliente che utilizza servizi BYOD, Servizio di esportazione dati o Esporta in Data Lake, potresti avere un'architettura di integrazione dei dati simile a quella qui mostrata. La casella evidenziata indica le pipeline di dati che la tua organizzazione potrebbe aver creato per sfruttare i dati esportati da Dynamics 365 e Dataverse. Puoi utilizzare una selezione di strumenti di Microsoft e di altri per copiare e integrare i dati di Dynamics con i tuoi dati. Puoi anche trasformare e aggregare i dati copiandoli in più archivi, come mostrato nella casella di preparazione dei dati del diagramma. Puoi utilizzare Power BI o un altro strumento per visualizzare i dati e creare informazioni dettagliate utili. Potresti avere pipeline create per esportare dati in un sistema locale e altri cloud.

Dopo la transizione

Sono disponibili due modelli di integrazione dei dati abilitati in Power Apps:

• Azure Synapse Link consente l'esportazione continua di dati simili al BYOD, a Esporta in Data Lake o al servizio di esportazione dati. Questa opzione è abilitata per gli amministratori IT e gli specialisti di integrazione dei dati.
• La funzionalità Collegamento a Fabric fornisce un'integrazione SaaS (Software as a Service) completamente gestita senza copia, estrazione, trasformazione e caricamento (ETL).

Queste opzioni sono complementari. Ecco un confronto dettagliato dei servizi di integrazione dati.

Se sei un cliente delle app per la finanza e le operazioni che attualmente utilizza funzionalità BYOD o Esporta in Data Lake, eseguendo l'aggiornamento ad Azure Synapse Link o Fabric Link puoi beneficiare di un'architettura di integrazione dei dati semplificata con conseguente riduzione dei costi operativi:

• Facile da configurare e gestire tramite Power Apps (make.powerapps.com). Integrazione incorporata con Azure Synapse e Fabric.
• Azure Synapse Link e Collegamento a Fabric sono servizi completamente gestiti. Ciascuno richiede un sovraccarico di gestione continuo minimo.
• I nuovi servizi offrono le stesse forme di dati dei servizi precedenti. Le pipeline di integrazione downstream esistenti possono rimanere così come sono.
• Impatto minimo sui carichi di lavoro operativi, non è necessario gestire i carichi di lavoro e pianificare le esportazioni di dati.

Pipeline di integrazione dei dati sicure ed end-to-end:

• Con Collegamento a Fabric, i tuoi dati non escono dal limite di governance di Dataverse mentre gli utenti Fabric autorizzati possono accedere in modo sicuro ai dati che risiedono all'interno Dataverse.
• Il servizio Azure Synapse Link consente di limitare l'accesso agli account di archiviazione con i firewall e di abilitare Dataverse per l'esportazione dati con identità gestite per Azure, una funzionalità di sicurezza integrata in Microsoft Entra.

Se sei un cliente Dynamics 365 Customer Engagement che utilizza il servizio di esportazione dati o Azure Synapse Link classico con esportazioni di dati in formato CSV, puoi beneficiare di una reportistica efficiente abilitata con il formato di dati Delta o Parquet standard del settore:

• L'opzione di conversione Delta Lake o Parquet integrata riduce la necessità di creare pipeline personalizzate per l'analisi e il reporting operativo.
• Il formato Delta Lake o Parquet consente query e report più veloci e reattivi e scalabilità su set di dati più grandi di qualsiasi dimensione.
• I dati nel lake vengono compressi da 1/3 a 1/8 della dimensione originale, creando file di dimensioni più piccole che riducono le query di dati e i costi di trasporto.

Quale opzione è opportuno usare?

Se la tua organizzazione utilizza già Fabric o prevede di effettuare la transizione nei prossimi mesi, ti consigliamo di utilizzare la funzionalità Collegamento a Fabric. È possibile continuare a utilizzare il servizio Azure Synapse Link se l'obiettivo immediato è eseguire l'aggiornamento dei servizi correnti.

Semplificazione con Link a Fabric

Se stai già consumando dati utilizzando Power BI, utilizzando un data warehouse o flussi di dati e notebook per trasformare i dati, il collegamento alla funzionalità Fabric fornisce un valore immediato. Puoi semplificare l'architettura di integrazione dei dati eliminando la necessità di disporre di un account di archiviazione o servizi Synapse per dati Dataverse. Invece di pagare per le risorse di Azure come archiviazione e calcolo, paghi per l'aumento di capacità di archiviazione Dataverse. Vengono presi in considerazione anche i costi di elaborazione come gli aggiornamenti dei dati quasi in tempo reale e le spese generali di gestione dell'archiviazione Dataverse. L'opzione di collegamento a Fabric è come avere una replica in sola lettura dei dati quasi in tempo reale, ottimizzata per l'analisi approfondita.

Esegui una query per questa replica utilizzando T-SQL, Apache Spark, Python e altri carichi di lavoro in Fabric. È inoltre possibile accedere a questi dati utilizzando qualsiasi strumento in grado di utilizzare T-SQL o da cui utilizzare dati Azure Data Lake Storage.

In qualità di cliente Dynamics o Power Apps, ottieni una quota di archiviazione Dataverse in base al numero di licenze acquistate. La funzionalità Collegamento a Fabric utilizza questa quota del database. Puoi acquistare più componenti aggiuntivi di archiviazione se il volume di dati supera la tua quota.

Puoi continuare a mantenere i servizi PaaS (Platform-as-a-Service) di Azure, come Databricks e database SQL, nella tua sottoscrizione. Le funzionalità Fabric annunciate di recente, come il mirroring dei dati e i collegamenti, possono aiutarti a semplificare ulteriormente l'integrazione dei dati.

Di seguito sono descritti esempi di riduzioni dei costi ottenute con la semplicità derivata dalla funzionalità di integrazione di Fabric.

Aggiornamento ad Azure Synapse Link

Eseguendo l'aggiornamento ad Azure Synapse Link e abilitando la conversione Delta o Parquet, è possibile eliminare le pipeline di preparazione dei dati Dataverse nella soluzione. Il servizio Azure Synapse Link esporta le stesse forme di dati nell'account di archiviazione in un formato Delta o Parquet più performante. Puoi continuare a usare gli strumenti esistenti e i servizi di Azure come query di archiviazione e Azure Synapse Analytics con interruzioni minime negli ambienti di produzione.

Comprendere i vantaggi e la riduzione dei costi

La semplicità ottenuta con Fabric Link e Azure Synapse Link consente di ridurre i costi complessivi. Considera i seguenti esempi basati sull'anteprima delle esperienze dei clienti.

Esempio 1: transizione da BYOD o Esporta in Data Lake a Collegamento a Fabric

Considera il caso in cui passi al link di Fabric da Esporta in Data Lake.

Come mostrato nei diagrammi del prima e del dopo in questo articolo, il cliente ha dismesso il servizio di esportazione verso Data Lake (1) e gli archivi dati di staging (2) con connessione a Fabric. Per ottenere approfondimenti operativi, hanno utilizzato i dati in OneLake direttamente in Power BI. Alcune informazioni dettagliate richiedono la fusione, la trasformazione e l'aggregazione dei dati (3). Invece di utilizzare servizi di Azure diversi, sono stati standardizzati gli stessi strumenti integrati in Fabric.

Le innovazioni in Dataverse e Fabric consentono semplificazioni e riduzioni dei costi:

• Dataverse viene fornito con un archivio OneLake integrato. I dati operativi di Dynamics 365 e Power Apps vengono replicati nel Lake Store integrato quasi in tempo reale (per evitare influenze sui carichi di lavoro operativi) e collegati in modo sicuro a Fabric tramite scorciatoie. Non è necessario portare con sé l'archiviazione di Azure e proteggere i dati esportati. I tuoi dati non escono dal limite di governance Dataverse e gli utenti autorizzati in Fabric possono lavorare con i dati utilizzando tutti i carichi di lavoro di Fabric.
• Esporta in Data Lake e servizio di esportazione dati esporta i dati in formato CSV. I file CSV non sono adatti per l'utilizzo diretto a causa delle scarse prestazioni delle query e di problemi occasionali di conflitti in lettura/scrittura. La soluzione prima della transizione usa Azure Data Factory per inserire e convertire periodicamente i dati non elaborati in un database Azure SQL o in un data warehouse di Azure. Questo livello non è necessario nella soluzione dopo la transizione poiché i dati OneLake integrati in Dataverse vengono mantenuti in formato Delta o Parquet, lo stesso formato aperto nativo di Microsoft Fabric. Il formato Delta o Parquet, insieme alle ottimizzazioni in Fabric, elimina la necessità di mantenere archivi dati aggiuntivi per la memorizzazione nella cache e migliorare le prestazioni delle query eliminando al tempo stesso i conflitti in lettura/scrittura. Puoi creare report Power BI utilizzando Direct Lake sui dati in OneLake senza ulteriori fasi di dati.
• Sebbene sia possibile ottenere informazioni dettagliate operativi utilizzando i dati già disponibili in OneLake, potresti disporre di dati aggiuntivi da altri sistemi. Potrebbe essere necessario combinare, rimodellare e aggregare questi dati con i dati Dataverse. Fabric fornisce un ambiente integrato che mette a disposizione i migliori strumenti come flussi di dati, Azure Data Factory e Spark. Utilizza questi strumenti invece di configurare e fornire strumenti standalone, dove adotti gli strumenti che preferisci. La fatturazione integrata, il controllo del codice sorgente e la sicurezza consentono una gestione e una governance più semplici.
• Sebbene sia possibile continuare a utilizzare il servizio Power BI per scopi di reporting, Fabric introduce la modalità Direct Lake di reporting, che sfrutta gli indici in memoria integrati nel formato Delta o Parquet eliminando così la necessità di utilizzare report sulla modalità di importazione di Power BI.

Queste innovazioni comportano risparmi sui costi end-to-end oltre ai vantaggi discussi in precedenza. Le tabelle qui riportate delineano le voci di costo insieme a un confronto tra le soluzioni prima e dopo. È possibile utilizzare questa tabella come linea guida per stimare i risparmi sui costi previsti.

Esempio 2: eseguire l'aggiornamento ad Azure Synapse Link

L'aggiornamento ad Azure Synapse Link è un'opzione da prendere in considerazione se non stai attualmente utilizzando Fabric o se non hai intenzione di effettuare la transizione nei prossimi mesi.

Come indicato nei diagrammi prima e dopo qui, il cliente ha ritirato il servizio Esporta in Data Lake (1) e l'organizzazione temporanea degli archivi dati (2) con Azure Synapse Link. Gli archivi dati utilizzati per la gestione temporanea dei dati, ad esempio i database SQL di Azure intermedi, vengono ritirati poiché i dati Dataverse vengono salvati in formato Delta o Parquet, un formato dati compresso e più performante. Le pipeline downstream utilizzate per la fusione, la trasformazione e l'aggregazione dei dati (3), nonché gli strumenti di presentazione (4), come Power BI, rimangono invariati.

Azure Synapse Link offre un percorso di aggiornamento semplice per i clienti che desiderano estendere i propri investimenti esistenti con modifiche minime. Come discusso qui, le innovazioni in Dataverse consentono una facile transizione dai servizi delle app per la finanza e le operazioni come Esporta in Data Lake e BYOD.

1. Azure Synapse Link consente una facile configurazione dell'archiviazione Azure e dei servizi Synapse all'interno di Power Apps (make.powerapps.com). Sono state rimosse diverse limitazioni dall'Esportazione su Data Lake.

   1. Un'esperienza uniforme consente di scegliere i dati da tutte le app Dynamics 365, incluse le app per la finanza e le operazioni e di coinvolgimento dei clienti. Puoi mantenere un unico servizio per esportare dati da Dynamics 365 e Power Apps.
   2. Le limitazioni delle tabelle presenti con Esporta in Data Lake scompaiono. È possibile scegliere fino a 1.000 tabelle per ogni profilo Azure Synapse Link all'interno di un singolo account di archiviazione. Puoi creare più profili (pipeline di esportazione), ciascuno con un massimo di 1.000 tabelle.
   3. Azure Synapse Link offre il supporto predefinito per l'uso di account di archiviazione con restrizioni del firewall per l'esportazione dei dati.
   4. Non è necessario configurare le risorse di Azure. Azure Synapse Link effettua il provisioning e configura le risorse Azure per tuo conto.
   5. Azure Synapse Link esporta i dati nello stesso formato di Esporta in Data Lake o BYOD, consentendo di mantenere le pipeline esistenti.

2. Sia Esporta in Data Lake che il servizio di esportazione dei dati esportano i dati in formato CSV. I file CSV non sono adatti per l'utilizzo diretto a causa delle scarse prestazioni delle query e di problemi occasionali di conflitti in lettura/scrittura. Prima della transizione usa Azure Data Factory per inserire e convertire periodicamente i dati non elaborati in un database SQL di Azure o in un data warehouse di Azure. Questo livello non è necessario nella soluzione dopo la transizione poiché Azure Synapse Link esporta i dati in formato Delta o Parquet, eliminando così la necessità di mantenere archivi dati aggiuntivi per la memorizzazione nella cache e migliorare le prestazioni delle query, eliminando al contempo i conflitti di lettura/scrittura.

3. Continua a utilizzare le pipeline di dati esistenti per combinare, rimodellare e aggregare dati aggiuntivi da altri sistemi.

4. Continuare a utilizzare il servizio Power BI ai fini della creazione di report. Fabric introduce la modalità di reporting Direct Lake, che sfrutta gli indici in memoria integrati nel formato Delta o Parquet, eliminando la necessità di utilizzare i report in modalità di importazione di Power BI.

Queste innovazioni comportano risparmi sui costi end-to-end oltre ai vantaggi discussi in precedenza. Le tabelle qui riportate delineano le voci di costo insieme a un confronto tra le soluzioni prima e dopo. Usa la tabella come linea guida per stimare i risparmi sui costi previsti.

Esempio 3: inserimento incrementale di dati in un data warehouse

Se attualmente stai utilizzando dati incrementali dalla funzionalità Esporta in Data Lake per popolare una pipeline di dati downstream, puoi continuare a utilizzare la stessa pipeline. Come mostrato qui, il servizio Azure Synapse Link può esportare le modifiche incrementali dei dati nello stesso formato del flusso di modifiche per l'esportazione su Data Lake.

Il servizio Azure Synapse Link offre diversi miglioramenti rispetto a Esporta in Data Lake per le modifiche incrementali dei dati:

• Il caricamento iniziale dei dati è incluso nelle cartelle delle modifiche. Ciò semplifica il consumo da parte della stessa pipeline sia del carico iniziale che degli aggiornamenti incrementali.
• I dati modificati non vengono eliminati in caso di reinizializzazione di una tabella.
• Il sistema crea una struttura di cartelle e metadati con timestamp che ti aiutano a leggere le modifiche in ordine cronologico. I dati modificati una volta scritti non vengono mai aggiornati. Questo approccio è più adatto per elaborare le modifiche utilizzando strumenti di inserimento di Big Data come Azure Data Factory.
• Puoi configurare la frequenza con cui desideri aggiornare i feed di modifiche nelle cartelle con Azure Synapse Link, con un minimo di cinque minuti.

Quando si passa a Fabric o ad Azure Synapse Link, la variazione del costo è minima per le modifiche incrementali dei dati.

Comprendere i vantaggi – più reportistica in tempo reale

Fabric non solo semplifica l'architettura di integrazione dei dati, ma riduce anche la necessità di copiare o replicare i dati. Il formato dei dati sottostante in Fabric, il formato Delta o Parquet standard del settore, può essere utilizzato direttamente da Power BI, flussi di dati, notebook e altri carichi di lavoro, eliminando la necessità di aree di memorizzazione nella cache e di aree di staging.

Se si esegue l'aggiornamento ad Azure Synapse Link e si continua ad esportare dati, i dati vengono salvati in formato Delta o Parquet, il che può ridurre i passaggi nelle pipeline di dati per la creazione di report operativi.

Considera il tempo necessario per aggiornare un report operativo, come l'analisi dell'inventario o l'analisi finanziaria di fine mese. Questi report potrebbero richiedere l'aggregazione di milioni di righe di dati da più tabelle in Dynamics 365 Finance. Utilizzando il servizio Esporta in Data Lake, i dati CSV vengono esportati entro 10 minuti. Potrebbe essere necessario importare questi dati in un report Power BI per fornire tempi di risposta migliori. L'aggiornamento di Power BI può essere eseguito fino a 24 volte al giorno (ogni 30 minuti). A seconda di come è progettato il report, il completamento dell'aggiornamento può richiedere diversi minuti. Utilizzando questo approccio, gli utenti possono visualizzare i dati entro 60 minuti da un aggiornamento. Queste sequenze temporali sono indicative. Il tempo di sincronizzazione effettivo dipende da fattori quali le dimensioni iniziali del caricamento dei dati, la frequenza di varianza dei dati e il volume della modifica.

I report operativi che originano i dati utilizzando il collegamento Fabric hanno la possibilità di sfruttare la modalità Direct Lake o la modalità DirectQuery in Fabric, sfruttando l'indice in memoria integrato in file Delta o Parquet. In queste modalità, non è necessario pianificare l'aggiornamento dei report Power BI poiché il report mostra sempre gli ultimi dati Dataverse aggiornati in Fabric.

Il servizio di collegamento Fabric aggiorna i dati in Dataverse OneLake entro un'ora al momento. Dataverse attiva processi di aggiornamento dei dati ogni 15 minuti e, a seconda del volume delle modifiche ai dati, potresti visualizzare file Parquet aggiornati entro 15-45 minuti. Queste sequenze temporali sono indicative. Il tempo di sincronizzazione effettivo dipende da diversi fattori, tra cui la dimensione iniziale del caricamento dei dati, la frequenza di varianza dei dati e il volume delle modifiche. In situazioni con volumi di transazioni elevati, ad esempio processi nelle app di dynamics 365 finance and operations che generano milioni di record in breve tempo o processi come la funzionalità di pianificazione master inclusa in Dynamics 365 Supply Chain Management che elimina e ricrea grandi volumi di record, Synapse Link deve sincronizzare tutte le modifiche, incluse le eliminazioni. In questi scenari con volumi elevati, la disponibilità dei dati entro gli intervalli di tempo indicati non può essere garantita.

Se utilizzi feed di dati incrementali da Dynamics 365 con il servizio Esporta in Data Lake per scenari di integrazione dei dati quasi in tempo reale (esempio 3). L'aggiornamento ad Azure Synapse Link consente di eseguire le stesse pipeline di dati.

Limitazioni e modifiche al comportamento

È possibile che siano state introdotte alcune modifiche nei formati delle tabelle che consentono di evitare conflitti. Maggiori informazioni: Limitazioni note.

Verifica inoltre di disporre degli aggiornamenti più recenti, che risolvono alcuni dei problemi noti. Per saperne di più sulla prossima roadmap e rimanere in contatto con il team del prodotto, unisciti al gruppo Viva Engage di anteprima.

Domande frequenti

Domande? È possibile fare riferimento al Documento sulle domande frequenti pubblicato qui. Puoi anche unirti alle ore di ufficio settimanali, rimanere in contatto con il team di prodotto e il forum dei clienti iscrivendoti al gruppo Viva Engage.

Vedere anche

Che cos'è Azure Synapse Link per Dataverse?

Collega il tuo ambiente Dataverse in Microsoft Fabric e ottieni informazioni dettagliate approfondite