Felsök vanliga delningsproblem i Delta-delning

I följande avsnitt beskrivs vanliga fel som kan uppstå när du försöker komma åt data i en resurs.

Fel på grund av överskriden resursgräns

Problem: Frågan i en delad tabell returnerar felet RESOURCE_LIMIT_EXCEEDED.

• "RESOURCE_LIMIT_EXCEEDED","message":"The table metadata size exceeded limits"
• "RESOURCE_LIMIT_EXCEEDED","message":"The number of files in the table to return exceeded limits, consider contact your provider to optimize the table"

Möjliga orsaker: Det finns gränser för antalet filer i metadata som tillåts för en delad tabell:

• Aktiva filer: En delad tabell stöder högst 400 000 aktiva filer (AddFile-åtgärder). Om antalet aktiva filer överskrider den här gränsen returnerar frågor felet "antalet filer har överskridits".
• Ta bort filåtgärder: En delad tabell stöder högst 100 000 RemoveFile-åtgärder i Delta-loggen. Om antalet RemoveFile-åtgärder överskrider den här gränsen returnerar frågor felet "metadatastorleken har överskridits".

Du kan begära en gränsökning för gränsen för aktiva filer. Se Resursbegränsningar.

Rekommenderad korrigering: Kontakta dataleverantören och be dem att optimera den delade tabellen genom att köra OPTIMIZE och VACUUM komprimera små filer och ta bort inaktuella RemoveFile-poster från Delta-loggen. Mer information finns i RESOURCE_LIMIT_EXCEEDED-felet när du utför förfrågningar mot en Delta Sharing-tabell i Databricks-kunskapsbasen.

Problem med dammsugna datafiler

Problem: Du ser ett felmeddelande som genererar undantaget "404 Den angivna [sökvägen|nyckeln] finns inte".

Exempel på Spark-fel:

java.lang.Throwable: HTTP request failed with status: HTTP/1.1 404 The specified path does not exist.

eller

HTTP request failed with status: HTTP/1.1 404 Not Found <?xml version="1.0" encoding="UTF-8"?>
<Error><Code>NoSuchKey</Code><Message>The specified key does not exist.</Message>

Möjlig orsak: Vanligtvis ser du det här felet eftersom datafilen som motsvarar den försignerade URL:en dammsugs i den delade tabellen och att datafilen tillhör en tidigare tabellversion.

Lösning: Hämta den senaste ögonblicksbilden.

Fel vid matchning av schema med Spark med öppen källkod

Problem: När du använder Spark med öppen källkod (OSS) visas ett schemamatchningsfel när du läser deltadelningstabeller.

Felexempel:

py4j.protocol.Py4JJavaError: An error occurred while calling o85.count.: org.apache.spark.SparkException: The schema or partition columns of your Delta table has changed since your DataFrame was created. Please redefine your DataFrame

Möjlig orsak: Schema- eller partitionskolumnerna i Delta-tabellen ändrades efter att DataFrame skapades.

Rekommenderad korrigering: Ställ in Spark-konfigurationsflaggan spark.delta.sharing.client.useStructuralSchemaMatch på true:

spark.conf.set("spark.delta.sharing.client.useStructuralSchemaMatch", "true")

Problem med konfiguration av lagringsnätverk

Problem: Du ser ett felmeddelande som utlöser en SSLCertVerificationError.

Exempel på Spark-fel:

ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1006)

Möjlig orsak: Vanligtvis visas det här felet eftersom det finns en nätverksbegränsning på lagringsplatsen för den delade tabellen eller volymen.

Rekommenderad korrigering: Tillåt åtkomst till lagringsplatsen i lagringsproviderns gränssnitt genom att tillåta klient-IP i brandväggsinställningarna för lagringskontot.

Problem med åtkomst till delad materialiseringstillgång

Problem: Frågan i en delad vy, materialiserad vy eller en strömmande tabell returnerar felet DS_MATERIALIZATION_QUERY_FAILED.

"DS_MATERIALIZATION_QUERY_FAILED": "The shared asset could not be materialized due to the asset not being accessible in the materialization workspace. Please ask data provider to contact :re[DB] support to override the materialization workspace."

Möjliga orsaker: Providern har inte läs- och skrivåtkomst till den tillgång som de försöker dela.

Rekommenderad korrigering: Kontakta dataleverantören för att se till att de har läs- och skrivåtkomst till den delade datatillgången.

Fel vid nätverksåtkomst under datamaterialisering

Problem: Din fråga om en delad datatillgång returnerar ett fel om åtkomst till dataleverantörens molnlagring.

There was an issue accessing the data provider's cloud storage. Shared view materialization uses the Serverless compute of data provider's region to perform the materialization. Please contact the data provider to allowlist Serverless compute IPs of their corresponding region to access the view's dependent tables storage location.

Possible causes: Lagringsplatsen för materialiserade data har nätverksbegränsningar (till exempel en brandvägg eller en privat länk) som förhindrar Azure Databricks serverlös beräkning från att komma åt den. När du delar vyer, materialiserade vyer eller strömmande tabeller materialiseras data tillfälligt på providerns sida. Lagringsplatsen för materialisering är tillgångens överordnade schema eller kataloglagringsplats.

Rekommenderad korrigering: Dataprovidern måste tillåtalistning av serverlösa beräknings-IP-adresser för motsvarande region för att få åtkomst till vyns beroende tabellers lagringsplats. Information om hur du konfigurerar brandväggen finns i Konfigurera en brandvägg för serverlös beräkningsåtkomst (äldre).

Fel: Dataobjektet "finns inte"

Om du klickar på en delad resurs och får ett felmeddelande om att objektet "inte finns" kan det bero på att delningsägaren på leverantörens sida saknar tillräckliga behörigheter för resursen. Kontakta dataleverantören och be dem kontrollera att resursägaren har de behörigheter som krävs för alla delade tillgångar. Mer information om behörigheter som krävs för att en resursägare ska kunna dela en datatillgång finns i Krav och Bevilja mottagaren åtkomst att dela.