Data Factoryn rajoitusten yleiskatsaus

Nykyisissä Data Factory in Microsoft Fabric -ominaisuuksissa on tiettyjä rajoituksia. Ennen kuin lähetät tukipyynnön, tarkista tämän osion luetteloista, onko sinulla tunnettu rajoitus.

Palvelutason katkoja tai heikkenemisilmoituksia varten tarkista Microsoft Fabric support.

Putkistorajoitukset Microsoft Fabric -ohjelmassa

Seuraava lista kuvaa nykyisiä putkien rajoituksia Data Factoryssa Microsoft Fabric -tilassa.

  • Suurin osa Azure Data Factory kopiointi- ja orkestrointimalleista soveltuu Fabric-putkistoon, mutta tumbling window ei ole vielä saatavilla.
  • Liittimet eivät tue OAuthia eikä Azure key vaultia (AKV).
  • Managed System Identity (MSI) on saatavilla vain Azure Blob Storage:lle. Tuki muille lähteille on tulossa pian.
  • GetMetaData-toiminnolla ei voi olla lähdettä Fabric KQL -tietokannoista.
  • Komentosarja-toiminnolla ei voi olla lähdettä Fabric KQL -tietokannoista.
  • Validointitoiminto, Mapping tietovuo -aktiviteetti ja SSIS-integraation ajonaikaiset toiminnot eivät ole käytettävissä.
  • Verkkoaktiviteetti ei tue palvelun päänimeen perustuvaa todentamista.
  • Todentamisen taustasynkronointi ei tapahdu jaksoissa. Suositus on tehdä pieni kuvaus, kuten putkien päivitykset, ja tallentaa ne. Näin saat uuden tunnuksen ja tallennat sen välimuistiin, jotta putki voidaan suorittaa uudelleen entra-tunnuksen päivitetyllä salasanalla.

Putken resurssien rajoitukset

Seuraava taulukko kuvaa resurssirajoituksia Data Factoryssa Microsoft Fabric -ohjelmassa.

Putken resurssi Oletusrajoitus Enimmäisraja
Putkien kokonaismäärä työtilassa 5,000 5,000
Samanaikainen putki ajetaan per työtila, joka on jaettu kaikkien Workspace-putkien kesken 10 000 10 000
Samanaikaiset ulkoiset toiminnot, kuten tallennettu proseduuri, Web, Web Hook ja muut per työtila 100 100
Samanaikaiset putken toiminnot suoritetaan Lookupissa, GetMetadatassa ja Delete-toiminnoissa työtilakohtaisesti 100 100
Samanaikaiset luontitoiminnot, mukaan lukien testiyhteys, selauskansio- ja taulukkolista, esikatselutiedot ja niin edelleen työtilakohtaisesti 50 50
Toimintojen enimmäismäärä putkea kohti, mukaan lukien säilöjen sisäiset toiminnot 120 120
Parametrien enimmäismäärä putkea kohti 50 50
Aikataulujen enimmäismäärä putkea kohden 20 20
Jokaiselle kohteelle 100 000 100 000
Jokaista rinnakkaisuutta 20 50
Aktiviteetin kohteiden määrä -haku 5000 5000
Jonossa olevat suoritukset enintään jaksoa kohti 100 100
Merkkejä lauseketta kohti 8,192 8,192
Jakson toimintojen suoritusten suurin aikakatkaisu 24 tuntia 24 tuntia
Jakso-objektien tavuja per objekti 200 kt 200 kt
Tavuja kullekin aktiviteetille 896 kt 896 kt
Älykäs siirtomäärän optimointi kopiointitoimintoa kohden Automaattinen 256
Samanaikainen älykäs läpimenon optimointi työtilakohtaisesti (läpimenonopeus jaetaan kopiointityön kanssa) 400 400
Metatietojen entiteetin kokorajoitus tehtaassa 2 Gt 2 Gt

Kopiointityön resurssirajoitukset

Seuraava taulukko kuvaa Kopiointityön rajoitukset Data Factoryssa Microsoft Fabric -ohjelmassa.

Kopiointityön resurssi Oletusrajoitus Enimmäisraja
Älykäs läpimenon optimointi per taulukko/objekti Automaattinen 256
Samanaikainen älykäs läpimenon optimointi työtilakohtaisesti (läpimenonopeus jaetaan putkiston kanssa) 400 400

Data Factory Dataflow Gen2 -rajoitukset

Seuraava lista kuvaa Dataflow Gen2:n rajoitukset Data Factoryssa Microsoft Fabric -tilassa.

  • Kyselyrajoitus vaiheille ja kohteille: Yksi Dataflow Gen2 tukee jopa 50 kyselyä , jotka joko:

    • Onko staging käytössä, tai
    • Määritä datakohde (esimerkiksi Warehouse, Lakehouse tai muut Fabric-kohteet).

    Kyselyt, jotka eivät kirjoita dataa – kuten funktiot, apukyselyt tai välimuotoiset muunnoskyselyt , jotka eivät ole vaiheittettuja eikä niillä ole datan kohdetta, eivät sisälly tähän rajaan.

  • Tietokohde Lakehouseen:
    • Välilyöntejä tai erikoismerkkejä ei tueta sarakkeiden tai taulukoiden nimissä.
    • Kesto- ja binaarisarakkeita ei tueta Tietovuon Gen2-tietovoiden luonnin aikana.
  • Sinulla on oltava tuettu yhdyskäytävä asennettuna , jotta voit käyttää tietovuota Gen2. Dataflow Gen2 tukee vähintään kuutta viimeisintä julkaistua yhdyskäytäväversiota.
  • OAuth2-tunnistetietoja käytettäessä yhdyskäytävä ei tällä hetkellä tue yli tunnin kestäviä päivitystä. Nämä päivitykset epäonnistuvat, koska yhdyskäytävä ei tue päivitystunnuksia automaattisesti käyttöoikeustietueiden vanhentuessa, mikä tapahtuu tunnin kuluttua päivityksen aloittamisesta. Jos saat virheet "InvalidConnectionCredentials" tai "AccessUnauthorized", kun käytät pilvitietolähteitä OAuth2-tunnistetiedoilla, vaikka tunnistetietoja on päivitetty äskettäin, saatat saada tämän virheen. Tämä pitkäkestoisten päivitysten rajoitus on olemassa sekä VNET-yhdyskäytäville että paikallisille tietoyhdyskäytäville.
  • Delta Lake -määritys ei tue merkitseviä sarakenimiä kirjainkokoa, joten MyColumnmycolumnvaikka niitä tuetaan Mashup-funktiossa, tuloksena on sarakkeiden kaksoiskappale -virhe.
  • Tällä hetkellä sarakkeen tyhjäarvon oletuksena sallitaan tyhjäarvot kohteen kaikissa sarakkeissa.
  • Kun olet tallentanut tai julkaissut tietovuon gen2-tietovuon, vaadimme vahvistus- ja julkaisuprosessin päättymistä 10 minuutin kuluessa kyselyä kohden. Jos ylität tämän 10 minuutin rajan, yritä yksinkertaistaa kyselysi tai jakaa kyselysi dataflow gen2:ssa.
  • Et voi yhdistää Azure-tallennus -tilin julkiseen päätepisteeseen Power Query Onlinella tai Dataflow Gen2:lla (ei yhdyskäytävää), jos Azure-tallennus -tilillä on jo yksi tai useampi Private Endpoints luotu. Sinun on muodostettava yhteys tällaisiin tallennustileihin käyttämällä VNet-tietoyhdyskäytävää tai paikallista tietoyhdyskäytävää, joka voi muodostaa yhteyden yksityisten päätepisteiden avulla.
  • Dataflow Gen2 ei tue vuokraajan vieraskäyttäjiä yhteyden muodostamisessa tietolähteisiin ja vuokraajan kohteisiin, joissa käyttäjä on vieraana. Muodosta yhteys tietolähteisiin ja kohteisiin vuokraajan alkuperäisen käyttäjän avulla.
  • Tietovuon gen2 tietojen käyttäminen tietovuon liittimellä edellyttää järjestelmänvalvojan, jäsenen tai osallistujan käyttöoikeuksia. Katselijan käyttöoikeus ei riitä, eikä sitä tueta tietovuon tietojen käyttämiseen.
  • Kun et pääse datavirran kautta staging-kohteisiin yli 90 päivään, sinun täytyy uudelleenohjata datavirta varmistaaksesi, että dataflow pääsee käsiksi vaiheituskohteisiin. Voit tehdä tämän luomalla uuden tietovuon gen2 samaan työtilaan.
  • Kun alavirran kohteet, kuten semanttiset mallit tai muut tietovirrat, käyttävät dataa Dataflow Gen2:sta Dataflows-liittimen kautta, data haetaan sisäisen API:n kautta. Tämä API voi kokea ajoittaisia aikakatkaisuja, jotka voivat aiheuttaa päivitysvirheitä kuluttaville kohteille. Näissä tapauksissa näkyvä virheilmoitus voi olla harhaanjohtava, esimerkiksi: "Avain ei vastannut yhtään riviä taulukossa." Tämä virhe ei viittaa ongelmaan datassasi; Se tarkoittaa, että backend-palvelu ei väliaikaisesti pystynyt palauttamaan datavirran tuloksia. Tämän ongelman lievittämiseksi määritä datakohde (kuten Lakehouse tai Warehouse) jokaiselle lähdedatavirralle ja päivitä alavirran kohteet lukemaan kohteesta Lakehouse- tai Warehouse-liittimen avulla Dataflows-liittimen sijaan. Tämä lähestymistapa ohittaa sisäisen API:n kokonaan ja parantaa tyypillisesti päivityksen luotettavuutta ja suorituskykyä.
  • Tuettu yhdyskäytävä vaaditaan: Dataflow Gen2 vaatii tällä hetkellä tuetun datayhdyskäytävän. Vähintään kuusi viimeistä julkaistua yhdyskäytäväversiota ovat tuettuja.

  • Delta Laken kirjainkoon herkkyyden rajoitus: Delta Lake ei tue kirjainkoon herkkiä sarakkeiden nimiä. Sarakkeet kuten MyColumn ja mycolumn aiheuttavat päällekkäisiä sarakkeiden virheitä, vaikka ne ovat sallittuja Mashupissa.

  • Sarakkeen nollausoletuskäyttäytyminen: Kaikki kohdesarakkeet sallivat oletuksena nollaarvot.

  • Julkaisu- ja validointiaikaraja: Jokaisen kyselyn on saatava validointi päätökseen ja julkaistava 10 minuutin kuluessa. Kyselyt, jotka ylittävät tämän rajan, tulisi yksinkertaistaa tai jakaa useiden tietovirtojen kesken.

  • Vieraskäyttäjän käyttöoikeus ei ole tuettu: Vieraskäyttäjät eivät voi yhdistää datalähteisiin tai kohteisiin vuokralaisessa, jossa he vierailevat. Käytä vuokralaisen natiivikäyttäjätiliä sen sijaan.

  • Tarvittavat oikeudet datavirtojen kuluttamiseen: Dataflow Gen2:n datan käyttäminen vaatii ylläpitäjän, jäsenen tai osallistujan oikeudet. Katsojan oikeuksia ei tueta.

  • Vaiheen tunnistautumisen vanheneminen: Jos vaiheen kohteisiin ei pääse käsiksi yli 90 päivään, uudelleentunnistus vaaditaan. Tämä voidaan tehdä luomalla uusi Dataflow Gen2 samassa työtilassa.