Implementare l'architettura medallion con viste lake materializzate

Questa esercitazione illustra l'implementazione di un'architettura medallion usando viste lake materializzate in un'infrastruttura lakehouse. Alla fine, si crea un flusso di trasformazione dei dati automatizzato da bronzo a argento a livelli oro. Questa esercitazione non è un'architettura di riferimento, una guida alle funzionalità esaustiva o una raccomandazione per le procedure consigliate prescrittive.

Prerequisiti

Prima di iniziare, completare questi prerequisiti:

1. Accedere all'account Power BI o iscriversi per una versione di valutazione se non ne è disponibile uno.
2. Abilitare Microsoft Fabric nel tenant.
3. Creare un'area di lavoro abilitata per l'infrastruttura.
4. Creare un Lakehouse con schemi abilitati e denominarlo SalesLakehouse.

Questi prerequisiti vengono usati in questa esercitazione: l'area di lavoro e SalesLakehouse sono necessari nei passaggi del livello bronze, silver e gold e nella pianificazione e nel monitoraggio.

Panoramica dello scenario

Questa esercitazione usa un'organizzazione fittizia per la vendita al dettaglio, Contoso, come scenario di esempio. Contoso organizza i dati di vendita in un'architettura medallion per migliorare i risultati di analisi separando i dati in livelli bronze (non elaborati), silver (puliti e arricchiti) e oro (aggregati e analizzati).

Il diagramma seguente rappresenta entità diverse in ogni livello di architettura a medaglioni in SalesLakehouse.

Entità chiave nello scenario

Le entità seguenti corrispondono alle entità illustrate nel diagramma dell'architettura medallion nella sezione precedente.

• Ordini: questa entità include dettagli su ogni ordine del cliente, ad esempio data dell'ordine, dettagli della spedizione, categoria di prodotti e sottocategoria. Le informazioni dettagliate possono essere ottenute per ottimizzare le strategie di spedizione, identificare le categorie di prodotti più diffuse e migliorare la gestione degli ordini.

• Vendite: analizzando i dati sulle vendite, Contoso può valutare le metriche chiave, ad esempio ricavi totali, margini di profitto, priorità degli ordini e sconti. Le correlazioni tra questi fattori forniscono una comprensione più chiara dei comportamenti di acquisto dei clienti e dell'efficienza delle strategie di sconto.

• Località: acquisisce la dimensione geografica delle vendite e degli ordini, tra cui città, stati, aree geografiche e segmenti di clienti. Consente a Contoso di identificare aree ad alte prestazioni, gestire aree con prestazioni basse e personalizzare le strategie per segmenti specifici dei clienti.

• Agente: con i dettagli sugli agenti che gestiscono le transazioni, le commissioni e i dati sulle vendite, Contoso può valutare le prestazioni dei singoli agenti, stimolare i migliori performer e progettare strutture di commissione efficaci.

• Commissioni degli agenti: l'incorporazione dei dati della commissione garantisce la trasparenza e consente una migliore gestione dei costi. Comprendere la correlazione tra i tassi di commissione e le prestazioni degli agenti consente di perfezionare i sistemi di incentivi.

Dati e notebook di esempio

Questa esercitazione usa un set di dati di esempio dal repository degli esempi di Fabric. Scaricare la cartella completa tutorial prima di continuare.

Questi asset vengono usati per creare prima il livello bronzo e quindi creare le viste lake materializzate in argento e oro.

La cartella scaricata tutorial contiene:

• Cartelle CSV: agent, agent_commissionslocation, orders, e sales.
• File del notebook: Notebook.

Creare il flusso di dati medallion

In questa sezione vengono creati i livelli bronzo, argento e oro per l'architettura medallion in SalesLakehouse. Questi livelli definiscono il flusso di dati basato sulla derivazione per le viste lake materializzate.

I passaggi generali sono i seguenti:

1. Livello bronzo: inserire dati non elaborati sotto forma di file CSV nel lakehouse. Vedere Creare un livello bronze dell'architettura di analisi delle vendite.
2. Livelli Silver e Gold: pulire i dati e curare i dati per l'analisi e la creazione di report usando viste lake materializzate. Vedere Creare livelli silver e gold dell'architettura medallion.

Più avanti in questa esercitazione si pianifica l'aggiornamento per questa derivazione in modo che il flusso venga eseguito automaticamente.

Creare un livello bronze dell'architettura medaglione per l'analisi delle vendite

In questa sezione si crea il livello bronzo caricando il contenuto della cartella scaricata tutorial in SalesLakehouse. Questi file corrispondono alle entità descritte in precedenza in questa esercitazione.

1. Nell'area di lavoro aprire SalesLakehouse e passare alla sezione File .

2. Caricare il contenuto della cartella scaricata tutorial , mantenendo la struttura di cartelle:

   • agent
   • agent_commissions
   • location
   • orders
   • sales

   Dopo il caricamento, viene creata una cartella denominata tutorial in File e contiene queste sottocartelle.

3. Quindi, creare un collegamento verso di esso dalla sezione Tabelle. Selezionare ... accanto alla sezione Tabelle e selezionare Nuovo collegamento allo schema e quindi Microsoft OneLake. Scegliere SalesLakehouse dai tipi di origine dati. Espandere la sezione File e scegliere la cartella tutorial e selezionare Crea. È anche possibile usare altre opzioni alternative per ottenere i dati in Lakehouse.

   

4. Nella sezione Tabelle rinominare la cartella tutorial come bronze.

Creare strati argento e oro dell'architettura a medaglione

1. Dalla cartella scaricata tutorial caricare il file nell'area Notebook di lavoro.

   

2. Aprire il notebook caricato da SalesLakehouse. Per ulteriori informazioni, consultare Esplorare i dati del lakehouse con un notebook.

3. Eseguire tutte le celle del notebook usando Spark SQL per creare le viste lake materializzate con vincoli di qualità dei dati.

4. Dopo l'esecuzione di tutte le celle, aggiornare SalesLakehouse per visualizzare le nuove viste lake materializzate negli schemi silver e gold .

   

Pianificare l'aggiornamento

1. In SalesLakehouse aprire la scheda Viste lake materializzate e selezionare Gestisci per aprire la derivazione.

   La visualizzazione derivazione mostra il grafico delle dipendenze generato automaticamente, in cui ogni vista lake materializzata dipendente viene visualizzata come nodo.

   

2. Selezionare Pianifica sulla barra multifunzione e quindi selezionare Nuova pianificazione nel riquadro Pianificazioni.

3. Attivare la pianificazione, specificare un nome e selezionare le viste lake materializzate da aggiornare.

4. Impostare la frequenza di pianificazione e quindi selezionare Applica.

5. Per eseguire immediatamente la pianificazione, selezionare Esegui nella pianificazione creata.

   

Monitoraggio e risoluzione dei problemi

1. Nella scheda Esecuzioni recenti esaminare gli stati di esecuzione.

2. Selezionare un ID esecuzione per aprire i dettagli per l'esecuzione.

   

3. Nella scheda Dettagli esecuzione esaminare il pannello dei dettagli sul lato destro e il pannello attività inferiore per lo stato di esecuzione.

4. Selezionare un nodo di visualizzazione lake materializzato in derivazione per visualizzare i dettagli di esecuzione, il relativo percorso ABFS e un collegamento ai log dettagliati.

5. Se lo stato di un nodo è Non riuscito, esaminare il messaggio di errore visualizzato.

   

6. Selezionare Log dettagliati per aprire l'hub di monitoraggio ed esaminare i log degli errori di Spark.

   

7. Selezionare la scheda Report Qualità dei dati delle viste Lake materializzate per creare o visualizzare un report di qualità dei dati generato automaticamente.

Contenuti correlati

• Panoramica delle viste del lago materializzate di Microsoft Fabric
• Informazioni di riferimento su Spark SQL per viste lake materializzate