Opetusohjelma: Peilauksen määrittäminen Google BigQueryä varten (esikatselu)

Tässä opetusohjelmassa määrität peilatun Fabric-tietokannan Google BigQuerystä.

Edellytykset

• Luo tai käytä olemassa olevaa BigQuery-varastoa. Voit muodostaa yhteyden mihin tahansa BigQuery-esiintymän versioon missä tahansa pilvessä, mukaan lukien Microsoft Azure.
• Tarvitset olemassa olevan Fabric-kapasiteetin. Aloita Fabric-kokeilu, jos et tee niin.

Käyttöoikeusvaatimukset

Tarvitset käyttöoikeudet BigQuery-tietokantaan, joka sisältää seuraavat käyttöoikeudet:

• bigquery.datasets.create
• bigquery.tables.list
• bigquery.tables.create
• bigquery.tables.export
• bigquery.tables.get
• bigquery.tables.getData
• bigquery.tables.updateData
• bigquery.routines.get
• bigquery.routines.list
• bigquery.jobs.create
• storage.buckets.create
• storage.buckets.list
• storage.objects.create
• storage.objects.delete
• storage.objects.list
• iam.serviceAccounts.signBlob

Hae taulun metatiedot ja muutoshistorian konfiguraatio (vaaditaan)

BigQueryAdmin- ja StorageAdmin-rooleihin tulee sisältyä nämä käyttöoikeudet. Seuraavat käyttöoikeudet vaaditaan muutoshistorian käyttöönoton selvittämiseen ja ensisijaisen avaimen tai yhdistelmäavaimen tietojen hakemiseen.

Käyttäjälle on määritettävä vähintään yksi rooli, joka sallii BigQuery-esiintymän käytön. Tarkista verkkovaatimukset, jotta voit käyttää BigQuery-tietolähdettäsi. Jos käytät Google BigQuery for On-Premises Data Gatewayn (OPDG) peilausta, sinulla on oltava OPDG-versio 3000.286.6 tai uudempi, jotta peilaus onnistuu.

Vaaditut käyttöoikeudet

Luodaksesi bucketit manuaalisesti (ja jättääksesi pois storage.buckets.create-luvan ), voit käyttää:

• bigquery.tables.get
• bigquery.tables.list
• bigquery.routines.get
• bigquery.routines.list

1. Siirry Google Consolen Cloud Storageen ja valitse Buckets.
2. Valitse Luo ja nimeä ämpäri tässä muodossa (kirjainkoon herkkä): <projectid>_fabric_staging_bucket
3. Varmista, että kauhan sijainti/alue on sama kuin GCP-projektissa, jota aiot peilata.
4. Valitse Luo. Peilausjärjestelmä tunnistaa ämpärin automaattisesti.

Lisää käyttöoikeuksia saatetaan tarvita käyttötapauksestasi riippuen. Vähimmäisvaatimukset koskevat muutoshistorian käsittelyä ja erikokoisten taulukoiden (yli 10GB) käsittelyä. Vaikka et käyttäisi yli 10 Gt:n taulukoita, ota kaikki nämä vähimmäiskäyttöoikeudet käyttöön, jotta peilauksen käyttö onnistuu.

Hae muutoshistoria ja taulukkotiedot (vaaditaan)

Lisätietoja käyttöoikeuksista on Google BigQueryn dokumentaatiossa Striimausdatan edellyttämät oikeudet, Muutoshistorian käytön edellyttämät käyttöoikeudet ja Kyselytulosten kirjoittamiseen vaadittavat käyttöoikeudet

Seuraavat oikeudet vaaditaan muutoshistorian ja taulukkotietojen lukemiseen.

Vaaditut käyttöoikeudet

• bigquery.tables.getData
• bigquery.jobs.create
• bigquery.jobs.get
• bigquery.jobs.list
• bigquery.readsessions.create
• bigquery.readsessions.getData

Muutoshistorian ominaisuuksien käyttöönotto (vaaditaan)

Muutoshistoria on otettava käyttöön lähde-BigQuery-tauluissa jollain seuraavista vaihtoehdoista.

Vaihtoehto 1: Ota käyttöoikeus käyttöön

• bigquery.tables.update

Mahdollistaa muutoshistorian käytön taulukoissa.

Vaihtoehto 2: Ota taulukkovaihtoehto käyttöön GCP:ssä

Varmista, että seuraava taulukkovaihtoehto on TRUEasetettu :

• enable_change_history

Vie data Google Cloud Storageen stagingia varten ja kopioi ne OneLakeen (vaaditaan)

Seuraavat oikeudet vaaditaan BigQuery-datan viemiseen Google Cloud Storageen vaiheittamista varten ja kopiointiin OneLakeen.

Vaaditut käyttöoikeudet

• bigquery.tables.export
• storage.objects.create
• storage.objects.list
• storage.buckets.get
• iam.serviceAccounts.signBlob

Google Cloud Storage Bucket stagingiin (vaaditaan)

Google Cloud Storage -ämpäri vaaditaan BigQuery-tauludatan viemiseen vaiheitukseen.

Ämpärien valmistusvaihtoehdot

Käytä jotakin seuraavista tavoista:

Vaihtoehto 1: Salli automaattinen ämpärin luominen

Myönnetään seuraava lupa:

• storage.buckets.create

Vaihtoehto 2: Luo staging bucket manuaalisesti

Luo ämpäri seuraavalla nimeämiskäytännöllä: <your_project_id_in_lowercase>_fabric_staging_bucket

Ämpärivaatimukset

• Bucketin on oltava samassa paikassa/alueella kuin BigQuery-aineisto.
• Peilausjärjestelmä tunnistaa ämpärin automaattisesti, kun se on olemassa.

Listatietoaineistot (vaaditaan)

Vaaditut käyttöoikeudet

• bigquery.datasets.get

Listaa projektit (pakollinen)

Vaaditut käyttöoikeudet

• resourcemanager.projects.get

Rooli- ja käyttöoikeusvaatimukset

BigQueryn ylläpitäjä- ja tallennusjärjestelmänvalvojan roolit sisältävät tyypillisesti yllä mainitut oikeudet.

Käyttäjälle on annettava vähintään yksi rooli, joka antaa pääsyn kohdeprojektiin ja tietoaineistoihin.

Verkko- ja porttivaatimukset

Tarkista verkkovaatimukset, jotta voit käyttää BigQuery-tietolähdettäsi.

Jos käytät Google BigQueryn peilausta paikallisen Data Gatewayn (OPDG) kanssa, sinun tulee käyttää:

• OPDG-versio 3000.286.6 tai uudempi

Lisähuomautuksia

Käyttötapauksestasi riippuen saatetaan tarvita lisää käyttöoikeuksia. Yllä luetellut oikeudet edustavat vähimmäisvaatimusta :

• Työskentely muutoshistorian parissa
• Eri kokoisia käsittelytaulukoita, mukaan lukien yli 10 GB kokoiset pöydät

Vaikka et tällä hetkellä käyttäisi yli 10 GB kokoisia taulukoita, kaikkien minimioikeuksien käyttöönotto on suositeltavaa peilauksen onnistumisen varmistamiseksi.

Lisätietoja on seuraavissa artikkeleissa:

• Vaaditut oikeudet suoratoistodatalle
• Vaaditut käyttöoikeudet muutoshistorian käyttöön
• Vaaditut oikeudet kyselytulosten kirjoittamiseen

Peilatun tietokannan luominen

Tässä osiossa luot uuden peilatun tietokannan peilatusta BigQuery-tietolähteestä.

Voit käyttää aiemmin luotua työtilaa (ei omaa työtilaa) tai luoda uuden työtilan.

1. Siirry työtilassa Luo-keskukseen .
2. Kun olet valinnut työtilan, jota haluat käyttää, valitse Luo.
3. Valitse Peilattu Google BigQuery -kortti.
4. Kirjoita uuden tietokannan nimi.
5. Valitse Luo.

Yhdistä BigQuery-esiintymään missä tahansa pilvessä

1. Valitse Uusi yhteys -kohdasta BigQuery tai valitse olemassa oleva yhteys.

2. Jos valitsit Uusi yhteys, syötä yhteyden tiedot BigQuery-tietokantaan.

   Yhteyden asetus	Kuvaus
   Palvelutilin sähköpostiosoite	Jos sinulla on jo olemassa oleva palvelutili: Löydät palvelutilisi sähköpostiosoitteen ja nykyisen avaimen Google BigQuery -konsolin Palvelutilit-kohdasta . Jos sinulla ei ole aiempaa palvelutiliä: Siirry Google BigQuery -konsolin Palvelutilit-kohtaan ja valitse Luo palvelutili. Syötä palvelutilin nimi (palvelutilin tunnus luodaan automaattisesti syötetyn palvelutilin nimen perusteella) ja palvelutilin kuvaus. Valitse Valmis. Kopioi ja liitä palvelutilin sähköpostiosoite sen määritettyjen yhteyksien tunnistetiedot -osioon Fabricissa.
   Palvelutilin JSON-avaintiedoston sisältö	Valitse Palvelutilien koontinäytössä Toiminnot juuri luodulle palvelutilille. Valitse Hallitse avaimia. Jos sinulla on jo avain palvelutiliäsi kohden, lataa sen JSON-avaintiedoston sisältö. Jos sinulla ei vielä ole avainta palvelutiliäsi kohden, valitse Lisää avain ja Luo uusi avain. Valitse sitten JSON. JSON-avaintiedoston pitäisi latautua automaattisesti. Kopioi ja liitä JSON-avain Fabric-portaalin määritettyjen yhteyksien tunnistetiedot -osaan.
   Connection	Luo uusi yhteys.
   Yhteyden nimi	Pitäisi täyttää automaattisesti. Vaihda se nimeksi, jota haluat käyttää.

3. Valitse tietokanta avattavasta luettelosta.

Aloita peilausprosessi

1. Määritä peilaus -näytön avulla voit oletusarvoisesti peilata kaikki tietokannan tiedot.

   • Peilattu kaikki tiedot tarkoittavat sitä, että Peilauksen käynnistämisen jälkeen luodut uudet taulukot peilataan.

   • Valinnaisesti voit valita vain tietyt objektit peilataksesi. Poista Kaikkien tietojen peilaus -asetus käytöstä ja valitse sitten tietokannasta yksittäiset taulukot.

   Tässä esimerkissä käytetään Peilaa kaikki tiedot -vaihtoehtoa.

2. Valitse Mirror-tietokanta. Peilaus alkaa.

3. Odota 2-5 minuuttia. Valitse sitten Valvo replikointia , niin näet tilan.

4. Muutaman minuutin kuluttua tilan pitäisi muuttua Käynnissä-tilaksi, mikä tarkoittaa, että taulukot synkronoidaan.

   Jos et näe taulukoita ja vastaavaa replikoinnin tilaa, odota muutama sekunti ja päivitä sitten paneeli.

5. Kun taulukon ensimmäinen kopiointi on valmis, Viimeinen päivitys -sarakkeeseen tulee päivämäärä.

6. Nyt kun tietosi ovat käytettävissä, Fabricissa on saatavilla erilaisia analytiikkaskenaarioita.

Näytön kankaan peilaus

Kun peilaus on määritetty, sinut ohjataan Peilauksen tila - sivulle. Täällä voit valvoa nykyisen replikoinnin tilaa.

Lisätietoja replikointitiloista ja tiedoista on kohdassa Monitor Fabric -peilatun tietokannan replikointi.

Aiheeseen liittyvä sisältö

• Google BigQuery -peilauksen yleiskatsaus
• Mikä on Peilaus Fabricissa?