Tietovarastojen ymmärtäminen Fabricissa

Nyt kun ymmärrät data warehouse -perusteet, tarkastellaan, mitä Microsoft Fabric tarjoaa datavarastoinnille.

Kuvaile Fabric data warehouse

Fabric data warehouse on täysin hallinnoitu, yritystason relaatiotietokanta, joka on rakennettu OneLakelle. Se tarjoaa täydet transaktioiset T-SQL-ominaisuudet, mukaan lukien DDL-lauseet (CREATE, ALTER, DROP) ja DML-lauseet (INSERT, UPDATE, DELETE, MERGE), täyden ACID-yhteensopivuuden tietojen yhdenmukaisuuden takaamiseksi.

Data tallennetaan avoimessa Delta-muodossa OneLakessa, mikä tarkoittaa, että muut Fabric-työkuormat voivat access samoihin tietoihin ilman päällekkäisyyttä. Käytät T-SQL:ää taulujen luomiseen, datan lataamiseen, näkymien ja tallennettujen proseduurien rakentamiseen sekä muunnoksiin, kaikki tutun SQL-kokemuksen puitteissa.

Tärkeitä ominaisuuksia:

• Täysi T-SQL -tuki - Kirjoita DDL- ja DML-lauseita, mukaan lukien MERGE upsert-skenaarioille, käyttäen tuttua SQL Server-syntaksia.
• Täysin hallittu – Ei infrastruktuuria konfiguroitavaksi. Laskenta skaalautuu automaattisesti ja itsenäisesti storage:sta.
• OneLake-integraatio – Varastotiedot tallennetaan Delta-muodossa ja muut Fabric-työkuormat ovat käytettävissä ilman päällekkäisyyksiä.
• Tietokantojen välinen kysely – Kysely varastojen ja järvitalojen välillä ilman tietojen kopioimista. Käytä kolmiosaista nimeämistä (database.schema.table) yhdistääksesi varastotaulukot lakehouse-tauluihin yhdessä kyselyssä.
• Tutut työkalut - Yhdistä SQL Server Management Studio (SSMS), Azure Data Studioon tai mihin tahansa SQL-asiakkaaseen tavallisten TDS-yhteyksien kautta.
• Copilot-avustus - Copilot for Data Warehouse tuottaa SQL-kyselyitä luonnollisesta kielestä, tarjoaa koodin täydentämisen kirjoittamisen aikana ja voi selittää tai korjata olemassa olevia kyselyitä SQL-editorissa.

Varasto vs SQL-analytiikan päätepiste

Fabric-työtilat voivat sisältää kahta tyyppiä SQL-pohjaisia kohteita, joilla on eri tarkoitukset.

Käytä varastoa, kun tarvitset täydet T-SQL-luku- ja kirjoitusominaisuudet. Käytä SQL-analytiikan päätepistettä, kun tarvitset vain luku -lukua -SQL-accessin lakehouse-dataan.

Luo data warehouse

Voit luoda data warehouse Fabricissa create hubista tai workspace-tiedostosta. Kun olet luonut tyhjän varaston, voit lisätä taulukoita, näkymiä ja muita objekteja.

Kun varastosi on luotu, voit alkaa luoda tauluja ja ladata dataa SQL-query editor -työkalulla Fabric-portaalissa.

Tietojen vastaanottaminen varastoon

On useita tapoja ladata dataa Fabric-data warehouse:iin:

• COPY INTO - Lataa dataa ulkoisista tiedostoista (CSV, Parquet) Azure storage varastotauluihin.
• OPENROWSET - Hae tiedostoja suoraan ulkoisista storage- tai OneLake-paikoista ad hoc -analyysiä tai vastaanottoa varten, ilman että ensin luodaan tauluja.
• Pipelines ja Dataflows - Käytä Data Factory pipelines tai Dataflows Gen2:ta orkestroituun datan siirtoon ja muunnokseen.
• Tietokantakyselyt – Lakehouse-taulukoita suoraan varastosta kolmiosaisella nimeämisellä ilman datan kopiointia.

Voit käyttää COPY INTO T-SQL-komentoa lataamaan dataa tiedostoista massana. Esimerkiksi seuraava lause lataa tietoja CSV-tiedostosta taulukkoon:

COPY INTO dbo.Region
FROM 'https://mystorageaccount.blob.core.windows.net/data/Region.csv'
WITH (
    FILE_TYPE = 'CSV',
    CREDENTIAL = (
        IDENTITY = 'Shared Access Signature',
        SECRET = 'xxx'
    ),
    FIRSTROW = 2
)
GO

Luo taulukoita ja lataa dataa

Kun olet luonut varaston ja valitsenut vastaanottomenetelmän, seuraava vaihe on määritellä taulukot ja ladata tiedot niihin.

Luot taulukoita T-SQL-lauseilla CREATE TABLE . Määrittele sarakkeet sopivilla tietotyypeillä analytiikkakuormille.

CREATE TABLE dbo.DimCustomer
(
    CustomerKey INT NOT NULL,
    CustomerAltKey NVARCHAR(10) NOT NULL,
    CustomerName NVARCHAR(100) NOT NULL,
    Region NVARCHAR(50) NULL
);
GO

CREATE TABLE dbo.FactSales
(
    SalesKey INT NOT NULL,
    CustomerKey INT NOT NULL,
    ProductKey INT NOT NULL,
    DateKey INT NOT NULL,
    SalesAmount DECIMAL(10,2) NOT NULL,
    Quantity INT NOT NULL
);
GO

Valitse tietotyyppejä, jotka tasapainottavat tarkkuuden ja storage-tehokkuuden. Käytä INT avainsarakkeita, NVARCHAR tekstiä, jossa voi olla erikoismerkkejä, sekä DECIMAL taloudellisille arvoille, jotka vaativat tarkkuutta.

Käytä staging-taulukoita datan lataamiseen

Yleinen tapa tietovarastoinnissa on sijoittaa raakadata staging-taulukoihin ennen sen muuntamista ja lataamista lopullisiin ulottuvuuksiin ja faktatauluihin. Staging-taulukot heijastavat lähdedatan rakennetta ja toimivat väliaikaisena säilytysalueena.

Kun olet ladannut datan vaiheitustauluihin käyttäen COPY INTO tai pipelines, muunnat ja lisäät sen dimensiomalliisi:

INSERT INTO dbo.FactSales (SalesKey, CustomerKey, ProductKey, DateKey, SalesAmount, Quantity)
SELECT
    s.OrderID,
    c.CustomerKey,
    p.ProductKey,
    d.DateKey,
    s.Amount,
    s.Qty
FROM dbo.StgSales AS s
INNER JOIN dbo.DimCustomer AS c ON s.CustomerID = c.CustomerAltKey
INNER JOIN dbo.DimProduct AS p ON s.ProductID = p.ProductAltKey
INNER JOIN dbo.DimDate AS d ON s.OrderDate = d.DateValue;
GO

Tämä kaava pitää lähdedatasi ehjänä, kun käytät liiketoimintasääntöjä ja avainhakuja latausprosessin aikana.

Ymmärrä taulukkokloonit

Voit luoda nollakopioita tauluklooneja Fabric data warehouse -tilassa. Kloonit kopioivat taulukon metatietoja samalla kun ne viittaavat samoihin OneLake-tiedostojen taustalla. Itse data ei ole kopioitu, mikä pitää storage-kustannukset alhaisina.

Seuraava koodiesimerkki näyttää, miten luot kloonin T-SQL:llä:

--Clone creation within the same schema
CREATE TABLE dbo.Employee AS CLONE OF dbo.EmployeeUSA;

Taulukkokloonit ovat hyödyllisiä kehityksessä ja testauksessa, datan palautuksessa epäonnistuneen julkaisun jälkeen sekä datan säilyttämisessä tietyissä ajankohdissa historiallista raportointia varten.

Nyt kun ymmärrät Fabricin varastotoiminnot, tutkitaanpa, miten dataasi voi hakea ja muuntaa.