Felsöka Transact-SQL inmatningsfel med felfiler

gäller för:✅ Warehouse i Microsoft Fabric

Den här artikeln beskriver hur du felsöker inmatningsfel i T-SQL-inmatningsmönster.

Inmatning till ett lager med hjälp av COPY INTO, BULK INSERT, OPENROWSET funktioner i CTAS, INSERT, UPDATE och MERGE -instruktioner kan misslyckas av flera orsaker. Källfilvärdena kanske inte matchar tabellschemat. Nödvändiga värden kanske saknas. Inmatningsalternativ kan också vara felkonfigurerade.

Den här felsökningsguiden använder diagnostikinformationen för avvisade rader för att lösa fel, samla in fel på radnivå och inspektera avvisade rader med felmetadata.

Genom att undersöka felfilerna som genereras av COPY INTO och andra inmatningskommandon kan du hitta exakt vilka rader som inte kunde matas in och varför. Den här informationen hjälper dig att identifiera datakvalitetsproblem eller justera inmatningsinställningar, åtgärda källdata och köra belastningen igen med säkerhet.

Skapa måltabellen

Innan du kör inmatningskommandon skapar du en måltabell med strikta typer och NOT NULL begränsningar så att du tidigt kan identifiera problem med konvertering och datakvalitet.

1. I din lagerarbetsyta, öppna ditt lager.

2. På fliken Start väljer du Ny SQL-fråga.

   

3. Kör följande kommando:

   DROP TABLE IF EXISTS dbo.TaxiTrips;
   GO
   CREATE TABLE dbo.TaxiTrips
   (
       vendorID         int    NOT NULL,
       startLat         float  NOT NULL,
       startLon         float  NOT NULL,
       endLat           float  NOT NULL,
       endLon           float  NOT NULL,
       passengerCount   int    NOT NULL,
       tripDistance     float  NOT NULL,
       fareAmount       float  NOT NULL,
       mtaTax           float  NOT NULL,
       totalAmount      float  NOT NULL
   );
   

Du kan använda flera metoder som stöds, inklusive inmatning med COPY INTO eller inmatning med Transact-SQL. Välj den inmatningsmetod som bäst passar dina krav för datakälla, format och automatisering. I följande COPY INTO-exempel visas ett vanligt inmatningsmönster för inläsning av data från externa filer till en tabell.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
WITH ( FILE_TYPE = 'CSV' );

Den här instruktionen kan inte mata in data om källfilerna inte matchar måltabellschemat. Vanliga orsaker är felmatchade kolumnantal, inkompatibla datatyper eller värden som inte kan lagras i måltabellen. Om inmatning påträffar värden som inte kan konverteras till målschemat returnerar instruktionen ett fel som liknar följande:

Msg 13812, Level 16, State 1, Line 2
Bulk load data conversion error (type mismatch or invalid character for the specified codepage)
for row starting at byte offset 0, column 1 (vendorID).
Underlying data description:
file 'https://....blob.core.windows.net/Files/yellow/tripdata.csv'.

Det här felet anger att en eller flera rader inte kan konverteras till målkolumntyperna.

Undersöka fel med MAXERRORS och ERRORFILE

Använd följande alternativ för att fortsätta inmatningen när antalet fel på radnivå ligger under ett definierat tröskelvärde och för att lagra diagnostikinformation på en angiven plats.

• MAXERRORS anger det maximala antalet tolererade fel på radnivå under inmatningen.
• ERRORFILE anger var databasen skriver avvisade rader och felinformation.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
WITH (
    FILE_TYPE = 'CSV',
    MAXERRORS = 10,
    ERRORFILE = 'https://{storage-path}.blob.core.windows.net/Files/yellow/'
);

Inläsningsåtgärden lyckas bara när antalet avvisade rader är lägre än MAXERRORS. När fel registreras skriver inmatningsåtgärden:

• error.jsonl för strukturerad diagnostik
• row.csv för avvisade källrader

Leta upp och analysera avvisade rader

Databasen skriver felinformation till en strukturerad mapphierarki under den konfigurerade felplatsen. De här mapparna hjälper dig att spåra en specifik körning och korrelera diagnostik till en inmatningsinstruktion:

ERRORFILE/
+-- _rejectedrows/
    +-- <timestamp>/
        +-- <statement_id>/
            +-- error.jsonl
            +-- row.csv or rows.jsonl

Använd OPENROWSET för att läsa den strukturerade diagnostiken i error.jsonl så att du kan identifiera vilket värde som misslyckades, vilken målkolumn som påverkades och var den misslyckade raden har sitt ursprung:

SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/error.jsonl'
);

Resultatuppsättningen innehåller vanligtvis en rad per avvisad post, till exempel:

Filen error.jsonl innehåller ett JSON-objekt per rad. Varje objekt innehåller de egenskaper som anges i föregående tabell. I följande tabell beskrivs varje egenskap i detalj.

Granska avvisade rader

När du har granskat den strukturerade diagnostikinformationen kan du kontrollera de ursprungliga källdata som databasen inte kunde mata in. De avvisade utdataraderna innehåller kopior av källposterna, bevarade exakt som de förekom i inputfilerna. Diagnostiken för avvisade rader genererar filer som endast innehåller de poster som misslyckades med inmatning:

• Om du matar in CSV-filer med hjälp av COPY INTO (FILE_TYPE = 'CSV'), innehåller de avvisade utdata en row.csv-fil. Den här filen matchar källfilstrukturen och innehåller de ursprungliga CSV-raderna med ogiltiga värden.
• Om du matar in JSONL-filer med hjälp av OPENROWSET(FORMAT = 'JSONL'), innehåller de avvisade utdata en row.jsonlfil. Den här filen bevarar de ursprungliga JSON-objekten som orsakade inmatningsfel.

Använd dessa filer för att verifiera rotorsaken till felen, till exempel felaktiga värden, oväntade NULL värden eller rubrikrader som felaktigt parsats som data.

SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/row.csv'
);

Schemat row.csv matchar CSV-källformen och innehåller endast rader som inte kunde matas in.

Exempel på avvisade radutdata:

Baserat på den här diagnostikinformationen kan du identifiera följande inmatningsproblem:

• Rubrikraden i källfilen parsas av misstag som en datarad. För att lösa detta bör -instruktionen COPY INTO använda alternativet FIRSTROW = 2 .
• En rad i källfilen för vendorID kolumnen (C1) innehåller NULL värden, men motsvarande kolumn i måltabellen TaxiTrips definieras som NOT NULL.
• En rad i källfilen för passengerCount kolumnen innehåller ett ogiltigt värde (N/A) som inte kan konverteras till målkolumnen int .

Åtgärda inmatningsproblem och mata in data igen

När du har identifierat orsaken till inmatningsfel korrigerar du problemet och matar in de berörda data igen. Reparationsmetoden beror på var felet kommer ifrån.

Korrigera måltabellens schema

Om källdata inte överensstämmer med måltabellschemat uppdaterar du tabelldefinitionen. Vanliga korrigeringar är att ändra kolumndatatyper eller ta bort restriktiva begränsningar, till exempel NOT NULL.

I vissa scenarier kan du behöva ta bort och återskapa destinationstabellen innan du matar in data igen.

Korrigera källdata och mata in filer igen

Om inmatningen misslyckas på grund av ogiltiga eller inkonsekventa värden i källfilerna korrigerar du dessa värden och matar in data igen. Ersätt till exempel platshållarvärden, till exempel N/A med tomma värden eller giltiga standardvärden.

COPY INTO [dbo].[TaxiTrips]
FROM 'https://{storage-path}.blob.core.windows.net/Files/yellow/tripdata_corrected.csv'
WITH ( FILE_TYPE = 'CSV' );

När korrigerade data matas in igen använder du en explicit filsökväg som pekar på den nya filen som endast innehåller korrigerade data i stället för en mappsökväg som refererar till de ursprungliga filerna. Den här metoden förhindrar återinmatning av rader som tidigare har lästs in och undviker dubbletter av data.

Bearbeta avvisade rader med hjälp av en mellanlagringstabell

Du kan läsa in avvisade rader i en mellanlagringstabell, åtgärda data med hjälp av Transact-SQL datamodifieringsinstruktioner och sedan mata in de korrigerade raderna igen.

Följande CREATE TABLE AS SELECT instruktion läser in avvisade rader i en tabell för vidare bearbetning:

CREATE TABLE TaxiTrip_RejectedRows AS
SELECT *
FROM OPENROWSET(
    BULK 'https://{storage-path}.blob.core.windows.net/Files/yellow/_rejectedrows/*/*/row.csv'
);

När du har korrigerat data infogar du de rensade raderna i måltabellen.

Relaterat innehåll

• Mata in data med COPY INTO
• Mata in data med Transact-SQL