Data Factoryn alusta loppuun -skenaario: johdanto ja arkkitehtuuri

Tämä opastus opastaa sinut läpi täydellisen datan integrointiskenaarion noin tunnissa. Opit Data Factoryn keskeiset ominaisuudet Microsoft Fabric -ohjelmassa ja miten niitä sovelletaan yleisiin datatyönkulkuihin.

Mitä rakennat

Tämä opetus sisältää johdannon ja kolme moduulia:

• Moduuli 1 – Tietojen vastaanottaminen kopiointitehtävällä: Luo itsenäinen kopiointityö, jolla siirretään raakadataa Blob-varastosta pronssipöytään Lakehousessa.
• Moduuli 2 – Muunna data datavirtauksella: Käsittele raakadataa pronssipöydältäsi ja siirrä se kultapöydälle Lakehousessa.
• Moduuli 3 – Orkestroi ja automatisoi putken avulla: Luo putki kopiointityön ja datavirran orkestroimiseksi, lähetä sähköposti-ilmoitus töiden valmistumisesta ja aikatauluta koko työnkulku.

Data Factory Microsoft Fabric -pelissä

Microsoft Fabric on yhtenäinen analytiikka-alusta, joka kattaa datan liikkeen, datajärvet, data-insinöörin, dataintegraation, datatieteen, reaaliaikaisen analytiikan ja liiketoimintatiedon. Sinun ei tarvitse koota eri palveluntarjoajien palveluita.

Data Factory Fabric yhdistää Power Query helppokäyttöisyyden asteikkoon Azure Data Factory. Se tarjoaa matalan koodin, tekoälypohjaisen tiedon käsittelyn, petatavun mittakaavan muunnoksen sekä satoja liittimiä, joissa on hybridi- ja monipilviyhteys.

Tärkeimmät ominaisuudet

Data Factory tarjoaa kolme ydintoimintoa datan integrointitarpeisiisi:

• Datan vastaanotto kopiointitehtävällä: Kopiointityö on suositeltu lähtökohta datan vastaanotolle. Se siirtää petatavun mittakaavan dataa sadoista tietolähteistä Lakehouseen, natiivituen avulla massa-, inkrementaaliseen ja CDC-pohjaiseen kopiointiin ilman, että tarvitsee rakentaa putkistoa.
• Datamuunnos: Dataflow Gen2 tarjoaa low-code-käyttöliittymän datan muuntamiseen 300+ muunnoksella. Voit ladata tuloksia useisiin kohteisiin, kuten Azure SQL Database, Lakehouse ja moniin muihin.
• Päästä päähän -automaatio: Putket orkestroivat toimintoja, kuten kopiointityö, datavirta, muistikirja ja paljon muuta. Ketjuttavat toiminnot yhteen ja toimivat peräkkäin tai rinnakkain. Seuraa koko dataintegraatiovirtaa yhdessä paikassa.

Opetusohjelman arkkitehtuuri

Tutustut kaikkiin kolmeen keskeiseen ominaisuuteen suorittaessasi kokonaisvaltaista datan integrointiskenaariota.

Skenaario sisältää kolme moduulia:

1. Vastaanota dataa kopiointitehtävällä: Luo itsenäinen kopiointityö, joka vastaanottaa raakadataa Blob-varastosta pronssipöytään Lakehousessa.
2. Muunna data datavirtauksella: Käsittele raakadata pronssipöydältäsi ja siirrä se kultapöydälle.
3. Orkestroi ja automatisoi putken avulla: Luo putki kopiointityön ja datavirran orkestroimiseksi, lähetä sähköposti-ilmoitus ja aikatauluta koko prosessi.

Tämä opetusohjelma käyttää NYC-Taxi -näyteaineistoa. Kun olet valmis, voit analysoida päivittäisiä taksilippujen alennuksia tietylle ajanjaksolle Data Factoryn avulla Microsoft Fabric -sovelluksessa.

Seuraavat vaiheet