Feilsøk Transact-SQL inntastingsfeil med feilfiler

Gjelder for:✅ Warehouse i Microsoft Fabric

Denne artikkelen beskriver hvordan man feilsøker inntastingsfeil i T-SQL-inntastingsmønstre.

Inntasting i et lager ved bruk av COPY INTO, BULK INSERT, funksjon OPENROWSET i CTAS, INSERT, UPDATE, og MERGE setninger kan feile av flere grunner. Kildefilverdiene kan ikke samsvare med tabellskjemaet. Nødvendige verdier kan mangle. Inntaksalternativene kan også være feilkonfigurert.

Denne feilsøkingsguiden bruker diagnostikkinformasjonen for avviste rader til å løse feil, fange opp radnivåfeil og inspisere avviste rader med feilmetadata.

Ved å undersøke feilfilene generert av COPY INTO og andre inntastingskommandoer, kan du nøyaktig finne ut hvilke rader som ikke ble innhentet og hvorfor. Denne informasjonen hjelper deg å identifisere datakvalitetsproblemer eller justere inntastingsinnstillinger, rette kildedataene og kjøre belastningen på nytt med trygghet.

Opprett måltabellen

Før du kjører inntastingskommandoer, lag en destinasjonstabell med strenge typer og NOT NULL begrensninger slik at du oppdager konverterings- og datakvalitetsproblemer tidlig.

1. Åpne lageret ditt i arbeidsområdet ditt.

2. På Hjem-fanen velger du Ny SQL-spørring.

   

3. Kjør følgende uttalelse:

   DROP TABLE IF EXISTS dbo.TaxiTrips;
   GO
   CREATE TABLE dbo.TaxiTrips
   (
       vendorID         int    NOT NULL,
       startLat         float  NOT NULL,
       startLon         float  NOT NULL,
       endLat           float  NOT NULL,
       endLon           float  NOT NULL,
       passengerCount   int    NOT NULL,
       tripDistance     float  NOT NULL,
       fareAmount       float  NOT NULL,
       mtaTax           float  NOT NULL,
       totalAmount      float  NOT NULL
   );
   

Du kan bruke flere støttede metoder, inkludert innlevering med COPY INTO eller innlevering med Transact-SQL. Velg den innsamlingsmetoden som passer best til dine behov for datakilde, format og automatisering. Følgende COPY INTO-eksempel illustrerer et vanlig inntastingsmønster for lasting av data fra eksterne filer inn i en tabell.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
WITH ( FILE_TYPE = 'CSV' );

Denne setningen kan feile i å ta inn data hvis kildefilene ikke samsvarer med destinasjonstabellens skjema. Vanlige årsaker inkluderer uoverensstemmende kolonneantall, inkompatible datatyper eller verdier som ikke kan lagres i måltabellen. Hvis inntak møter verdier som ikke kan konverteres til destinasjonsskjemaet, returnerer setningen en feil som ligner følgende:

Msg 13812, Level 16, State 1, Line 2
Bulk load data conversion error (type mismatch or invalid character for the specified codepage)
for row starting at byte offset 0, column 1 (vendorID).
Underlying data description:
file 'https://....blob.core.windows.net/Files/yellow/tripdata.csv'.

Denne feilen indikerer at én eller flere rader ikke kan konverteres til destinasjonskolonnetypene.

Undersøk feil med MAXERRORS og ERRORFILE

Bruk følgende alternativer for å fortsette inntastingen når antallet radfeiltrinn er under en definert terskel, og for å lagre diagnostiske detaljer på et spesifisert sted.

• MAXERRORS setter maksimalt antall tolererte radnivåfeil under inntak.
• ERRORFILE spesifiserer hvor databasen skriver avviste rader og feildetaljer.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
WITH (
    FILE_TYPE = 'CSV',
    MAXERRORS = 10,
    ERRORFILE = 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
);

Lastoperasjonen lykkes bare når antallet avviste rader er lavere enn MAXERRORS. Når feil fanges opp, skriver inntastingsoperasjonen:

• error.jsonl for strukturerte diagnostiske tester
• row.csv for avviste kilderader

Finn og søk i avviste rader

Databasen skriver feilinformasjon til et strukturert mappehierarki under den konfigurerte feilplasseringen. Disse mappene hjelper deg med å spore en spesifikk utførelse og korrelere diagnostikk til én inntakssetning:

ERRORFILE/
+-- _rejectedrows/
    +-- <timestamp>/
        +-- <statement_id>/
            +-- error.jsonl
            +-- row.csv or rows.jsonl

Bruk OPENROWSET den til å lese inn de strukturerte diagnostikkene error.jsonl slik at du kan identifisere hvilken verdi som feilet, hvilken destinasjonskolonne som ble påvirket, og hvor den feilende raden kom fra:

SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/error.jsonl'
);

Resultatsettet inkluderer vanligvis én rad per avvist post, for eksempel:

Filen error.jsonl inneholder ett JSON-objekt per linje. Hvert objekt inkluderer egenskapene som er listet i tabellen før. Tabellen nedenfor beskriver hver egenskap i detalj.

Anmeldelse av avviste rader

Etter at du har gjennomgått den strukturerte diagnostiske informasjonen, kan du inspisere de opprinnelige kildedataene som databasen ikke kunne ta inn. De avviste radene inneholder kopier av kildepostene, bevart nøyaktig slik de dukket opp i inndatafilene. Diagnostikken for de avviste radene genererer filer som kun inneholder de postene som mislyktes i inntastingen:

• Hvis du innfører CSV-filer ved å bruke COPY INTO (FILE_TYPE = 'CSV'), inkluderer den avviste utdataen en row.csv fil. Denne filen samsvarer med kildefilstrukturen og inneholder de originale CSV-radene med ugyldige verdier.
• Hvis du importerer JSONL-filer ved å bruke OPENROWSET(FORMAT = 'JSONL'), inkluderer den avviste utdataen en row.jsonl fil. Denne filen bevarer de opprinnelige JSON-objektene som forårsaket inntastingsfeil.

Bruk disse filene til å validere rotårsaken til feilene, som feilformede verdier, uventede NULL verdier eller headerrader som feiltolket som data.

SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/row.csv'
);

Skjemaet row.csv samsvarer med kildens CSV-form, og det inneholder kun rader som mislyktes ved inntasting.

Eksempel på avviste rad-utdata:

Basert på denne diagnostiske informasjonen kan du identifisere følgende inntaksproblemer:

• Header-raden i kildefilen blir feilaktig tolket som en datarad. For å løse COPY INTO dette bør uttalelsen bruke alternativet FIRSTROW = 2 .
• En rad i kildefilen for kolonnen vendorID (C1) inneholder NULL verdier, men den tilsvarende kolonnen i destinasjonstabellen TaxiTrips er definert som NOT NULL.
• En rad i kildefilen for kolonnen passengerCount inneholder en ugyldig verdi (N/A) som ikke kan konverteres til destinasjonskolonnen int .

Fiks inntastingsproblemer og ta inn data på nytt

Etter at du har identifisert årsaken til inntaksfeilene, korriger problemet og importer de berørte dataene på nytt. Utbedringsmetoden avhenger av hvor feilen oppstår.

Fiks destinasjonstabellens skjema

Hvis kildedataene ikke samsvarer med destinasjonstabellens skjema, oppdater tabelldefinisjonen. Vanlige løsninger inkluderer å endre kolonnedatatyper eller fjerne restriktive begrensninger som NOT NULL.

I noen tilfeller kan det hende du må fjerne og lage destinasjonstabellen på nytt før du importerer dataene på nytt.

Korriger kildedata og ta inn filer på nytt

Hvis inntastingen feiler på grunn av ugyldige eller inkonsistente verdier i kildefilene, korriger disse verdiene og innta dataene på nytt. For eksempel, bytt ut plassholderverdier som N/A med tomme verdier eller gyldige standardinnstillinger.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/tripdata_corrected.csv'
WITH ( FILE_TYPE = 'CSV' );

Når du tar inn korrigerte data på nytt, bruk en eksplisitt filsti som peker til den nye filen som kun inneholder korrigerte data, i stedet for en mappesti som refererer til de opprinnelige filene. Denne tilnærmingen forhindrer at rader som tidligere ble lastet inn på nytt, og unngår dupliserte data.

Behandle avviste rader på nytt ved å bruke en staging-tabell

Du kan laste inn avviste rader i en staging-tabell, fikse dataene ved å bruke Transact-SQL dataendringssetninger, og deretter importere de korrigerte radene på nytt.

Følgende CREATE TABLE AS SELECT setning laster avviste rader inn i en tabell for videre behandling:

CREATE TABLE TaxiTrip_RejectedRows AS
SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/row.csv'
);

Etter at du har korrigert dataene, sett inn de rensede radene i destinasjonstabellen.

Relatert innhold

• Importer data ved hjelp av COPY INTO
• Inntak av data ved hjelp av Transact-SQL