Usare Copilot con le pipeline di dati di Microsoft Fabric
Copilot può aiutare a creare una pipeline di dati che copia i dati da un'origine dati pubblica o interna in un Lakehouse per effettuare analisi. Invece di un'esercitazione click-by-click, l'obiettivo è comprendere i concetti, il flusso e la logica dietro ogni passaggio.
Prima di poter eseguire qualsiasi pipeline, è necessario che siano presenti alcuni elementi fondamentali: l'accesso a un tenant di Fabric con un'area di lavoro e una Lakehouse come destinazione. Si tratta dei blocchi predefiniti che assicurano che sia presente un'origine che una destinazione per il processo di integrazione dei dati.
Creazione di una connessione
Le connessioni sono essenziali per collegare Fabric a origini dati esterne. Concettualmente, una connessione definisce la provenienza dei dati e la modalità di accesso. I set di dati pubblici possono spesso essere inseriti con l'autenticazione anonima, mentre le origini aziendali possono richiedere credenziali più rigide.
È importante avere le connessioni pronte prima di poterle usare in una pipeline di dati. Le connessioni possono essere gestite selezionando l'icona a forma di ingranaggio nell'angolo in alto a destra del portale di Infrastruttura e selezionando Gestisci connessioni e gateway. Da qui è possibile creare nuove connessioni o aggiornare quelle esistenti.
Inserire dati con Copilot
Dopo aver stabilito le connessioni, la pipeline deve sapere cosa copiare e dove incollare. Copilot suggerisce il prompt di acquisizione dati e assiste generando un'attività Copia dati. È comunque necessario fornire un contesto mancante, ad esempio:
- Connessione di origine
- Connessione di destinazione
- Nome tabella di destinazione
Source connection of CopyDataActivity is [source]; destination connection is [lakehouse]; table name is [tablename].
Copilot esegue lo scaffolding dell'attività, ma l'utente deve convalidarlo e completarlo, ad esempio specificando il percorso del file, impostando il formato del file e scegliendo il delimitatore di colonna corretto. Ciò rafforza la competenza della revisione delle impostazioni predefinite e della compilazione di dettagli sensibili al contesto.
Trasformare i dati
Le pipeline si fermano raramente all'inserimento. Copilot può estendere il flusso di lavoro suggerendo attività di trasformazione dei dati . Ad esempio, è possibile chiedere a Copilot il prompt seguente:
Can you add a delete activity as the first activity?
In questo caso, Copilot inserisce un'attività di eliminazione nella pipeline, dimostrando come gli utenti possono ristrutturare i flussi di lavoro usando il linguaggio naturale. È comunque necessario configurare dettagli come l'origine da eliminare, evidenziando l'equilibrio tra automazione e supervisione umana.
Concettualmente, questa fase illustra il modo in cui Copilot facilita l'orchestrazione della pipeline lasciando l'utente responsabile della precisione e della governance.
Riepilogare la pipeline
Copilot può anche descrivere la pipeline in linguaggio normale. In questo modo è possibile:
- Verificare che la pipeline sia allineata alle loro intenzioni.
- Rafforzare la comprensione dei componenti del flusso di lavoro.
- Riflettere sul modo in cui l'inserimento, la trasformazione e l'orchestrazione si integrano.
Si consideri ad esempio il prompt seguente:
Summarize this pipeline, turning the technical configuration into a conceptual narrative.
Risoluzione dei problemi con l'assistente per i messaggi di errore
Quando un'esecuzione della pipeline ha esito negativo, Copilot può analizzare l'errore e suggerire passaggi di correzione eseguibili in linguaggio normale. Questo elimina la necessità di analizzare manualmente i log degli errori grezzi e aiuta a risolvere i problemi contestualmente. Ad esempio:
Why did this pipeline fail?
Copilot spiega la causa dell'errore e consiglia passaggi specifici per risolverlo, risolvendo il divario tra un errore tecnico e una risoluzione significativa.
Creare espressioni della pipeline
Le pipeline spesso richiedono espressioni dinamiche per elementi come la creazione di percorsi di file, la formattazione di date o la logica condizionale. Copilot si integra con il Generatore di espressioni per generare e spiegare queste espressioni usando il linguaggio naturale.
Create an expression that builds a dynamic output file path using today's date in yyyy-MM-dd format.
Oltre la generazione, è anche possibile chiedere a Copilot di spiegare cosa fa un'espressione esistente, consentendo di apprendere il linguaggio delle espressioni in modo incrementale senza uscire dall'editor della pipeline.
Copilot supporta la modalità di creazione di una pipeline: esegue lo scaffolding delle connessioni, l'inserimento, le attività di trasformazione, la risoluzione degli errori e le espressioni usando il linguaggio naturale. Supporta anche il motivo: incoraggiare l'utente a convalidare, configurare e riflettere su ogni fase, creando competenze di progettazione dei dati attendibili e trasferiscibili.