Databricks Runtime 18.2 (Beta)

Följande versionsinformation ger information om Databricks Runtime 18.2 (Beta).

Den här versionen innehåller alla funktioner, förbättringar och felkorrigeringar från alla tidigare Databricks Runtime-versioner. Databricks släppte den här versionen i april 2026.

Förändringar i beteende

• XPath hämtar inte längre externa DTD:er
• NULL-struktursbevarande i INSERT, MERGE och strömmande skrivprocesser med schemautveckling
• NullType-stöd (VOID) i Delta-tabeller
• SHOW CREATE TABLE stöder metrisk vyer
• JOIN
• NATURAL JOIN respekterar skiftlägesoberoende kolumnmatchning
• Verifiering av SQL UDF-beroende i Unity Catalog
• Optimerade skrivningar för partitionerade Unity Catalog-tabeller som skapats med CRTAS
• De AWS SDK v1-beroenden är skuggade
• Korrigera felaktig EPSG-myndighet för ESRI-definierad SRID 102100

XPath hämtar inte längre externa DTD:er

När du utvärderar XPath via XML läser Azure Databricks inte längre in externa DTD:er (Document Type Definitions) som deklarerats i dokumentet. Tidigare kunde XPath misslyckas när XML innehåller en extern DTD-referens som pekade på en felaktigt formaterad URL eller en oåtkomlig slutpunkt. Eftersom DTD-validering är separat från XPath-utvärdering returnerar frågor som redan har lyckats samma resultat som tidigare. Frågor som tidigare bara misslyckades under extern DTD-hämtning kan nu lyckas.

NULL-strukturbevarande i INSERT, MERGE och strömning av skrivningar med utvecklande schema

För INSERT, MERGEoch strömmande skrivningar som använder schemautveckling lagras nu en NULL-struct i källan som NULL i målet. Det värdet materialiserades tidigare felaktigt som en strukt som inte är null, med varje fält inställt på NULL, medan samma åtgärder utan schemaevolution bevarade NULL-strukturer korrekt. Om koden förlitade sig på att ta emot en icke-null-struct vars fält alla var NULL uppdaterar du koden så att den hanterar en NULL-struct i stället.

NullType-stöd (VOID) i Delta-tabeller

Delta Lake-tabeller stöder VOID nu kolumner. VOID Tidigare hoppades kolumnerna tyst över av sökvägsbaserade DataFrame-läsningar (till exempel spark.read.format("delta").load(path)) och frågor om tidsresor. Dessa frågor innehåller nu VOID-kolumner i utdata. Skrivningar påverkas inte. Se VOID typ för begränsningar för var VOID kolumner kan visas i schemat.

Granska alla frågor som läser från Delta Lake-tabeller med VOID kolumner för att säkerställa att de hanterar de ytterligare kolumnerna korrekt. Till exempel returnerar en fråga som tidigare returnerade två kolumner nu tre:

CREATE TABLE my_table(id INT, v VOID, name STRING) USING DELTA;

-- Before DBR 18.2: returns (id, name)
-- After DBR 18.2:  returns (id, v, name)
SELECT * FROM my_table VERSION AS OF 0;

Frågor som är beroende av kolumnantal eller position, till exempel INSERT INTO ... SELECT *, kan börja misslyckas efter uppgraderingen.

I synnerhet kan vissa INSERT frågor med schemautveckling aktiverad tyst flytta data till fel kolumner. Den ytterligare VOID kolumnen i utdata flyttar positionerna för efterföljande kolumner, vilket kan leda till att data skrivs till felaktiga kolumner i måltabellen. Som exempel:

-- Source table has a VOID column between two INT columns
CREATE TABLE source(a INT, b VOID, c INT) USING DELTA;
-- Target table has two INT columns
CREATE TABLE target(x INT, y INT) USING DELTA;

-- Before DBR 18.2: SELECT * FROM source returns (a, c), inserting a->x and c->y
-- After DBR 18.2:  SELECT * FROM source returns (a, b, c), inserting a->x, b->y,
--                  and c is added as a new column via schema evolution
INSERT INTO target WITH SCHEMA EVOLUTION
SELECT * FROM source VERSION AS OF 0;

SHOW CREATE TABLE stöder måttvyer

SHOW CREATE TABLE stöder nu metriska vyer. Tidigare uppstod ett fel när det här kommandot kördes i en måttvy. Utdata för metrikvyer innehåller det helt kvalificerade tredelade namnet inklusive katalogen (till exempel CREATE VIEW catalog.db.my_metric_view ...), vilket underlättar återskapandet av metrikvyn på rätt plats.

Korrigering för VÄNSTER YTTRE JOIN LATERAL som utesluter rader

En bugg som felaktigt har släppt rader från LEFT OUTER JOIN LATERAL frågor har nu åtgärdats. Frågor som använder den här konstruktionen returnerar nu rätt resultat. Om du tillfälligt vill återgå till det tidigare beteendet anger du spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic till true.

NATURAL JOIN respekterar skiftlägesoberoende matchning av kolumner

NATURAL JOIN använder nu korrekt skiftlägesokänslig kolumnmatchning när spark.sql.caseSensitive är inställt på false (standardvärdet). Tidigare använde NATURAL JOIN en skiftlägeskänslig jämförelse för att identifiera vanliga kolumner, vilket ledde till att kolumner som endast skilde sig åt i skiftläge (till exempel ID jämfört med id) inte kunde identifieras som matchande. Detta orsakade NATURAL JOIN att generera korskopplingsresultat utan att märkas. Den här korrigeringen justerar NATURAL JOIN beteendet med USING kopplingar, som redan har hanterat skiftlägeskänslighet korrekt. Frågor som påverkas av den här buggen returnerar nu korrekta resultat med korrekt kopplade kolumner.

Verifiering av SQL UDF-beroende i Unity Catalog

Unity Catalog tillämpar nu beroendeverifiering för SQL-användardefinierade funktioner (UDF:er) för att förhindra förbikoppling av åtkomstkontroll. Tidigare kunde SQL-funktioner som skapats via REST-API:et referera till beroenden som användaren inte hade åtkomst till. SQL-UDF:er med ogiltiga beroendekonfigurationer blockeras nu från körning.

Optimerade skrivningar för partitionerade Unity Catalog-tabeller som skapats med CRTAS

Optimerade skrivningar tillämpas nu korrekt på partitionerade Unity Catalog-tabeller som skapats med CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Tidigare tillämpade CRTAS på nya partitionerade Unity Catalog-tabeller inte optimerade skrivningar, vilket resulterade i ett högre antal små filer per partition. Den här korrigeringen kan öka skrivfördröjningen. Om du vill återgå till det tidigare beteendet anger du spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled till false.

AWS SDK v1-beroenden är avskilda

AWS SDK v1-beroenden som paketeras med Databricks Runtime är nu skuggade och inte längre direkt tillgängliga på klassökvägen. Om koden är beroende av AWS SDK v1-bibliotek som tidigare tillhandahölls av Databricks Runtime lägger du till dem som explicita beroenden i projektet. Den här ändringen förbereder migreringen till AWS SDK v2 efter att AWS-stödet för SDK v1 har upphört.

Åtgärda felaktig EPSG-myndighet för SRID definierat av ESRI 102100

Crs-mappningen (Coordinate Reference System) för SRID 102100 använder ESRI:102100 nu korrekt i stället för den felaktiga EPSG:102100. Den här korrigeringen säkerställer att geospatial data lagras med rätt myndighet för bättre interoperabilitet med andra system.

Nya funktioner och förbättringar

• SKAPA ELLER ERSÄTT-stöd för temporära tabeller
• agg() alias för measure() funktion
• Snowflake JDBC-drivrutinsuppgradering
• pyspark.pipelines.testing namnområdesalias
• Förbättrad prestanda för Auto Loader-listning
• Deltatabellhistorik innehåller skrivalternativflaggor

SKAPA ELLER ERSÄTT-stöd för temporära tabeller

CREATE OR REPLACE TEMP TABLE syntax stöds nu, så att du kan skapa eller ersätta temporära tabeller i en enda instruktion. Detta eliminerar behovet av att uttryckligen släppa och återskapa temporära tabeller.

agg() alias för measure() funktion

agg() är nu tillgängligt som ett alias för measure() funktionen. Den här ändringen är helt bakåtkompatibel. Befintliga frågor som använder measure() fortsätter att fungera utan ändringar och agg() ger identiska resultat när de används med samma argument.

Snowflake JDBC-drivrutinsuppgradering

Snowflake JDBC-drivrutinen uppgraderas från 3.22.0 till 3.28.0.

pyspark.pipelines.testing namnområdesalias

pyspark.pipelines.testing är nu tillgängligt som ett bekvämlighetsalias för dlt.testing API:er. Importera pipelinetestningsverktyg för Lakeflow Spark Deklarativa pipelines via något av namnrymderna.

Förbättrad prestanda för Auto Loader-funktionalitet

Automatisk inläsning använder nu en effektivare listningsmetod som förbättrar listhastigheten för molnlagringskällor. Om dina kontinuerliga strömmar förlitar sig på hur lång tid det tar att identifiera data via listan och inte anger explicita ProcessingTime utlösare, kan den här förbättringen leda till ökade api-kostnader för molnlistning. Ange explicita ProcessingTime utlösare för att styra hur ofta liståtgärder körs.

Deltatabellhistorik innehåller skrivalternativflaggor

Deltatabellhistorik (DESCRIBE HISTORY) innehåller nu skrivalternativflaggor i operationParameters kolumnen för WRITE och REPLACE TABLE åtgärder. När följande alternativ uttryckligen är aktiverade visas de som booleska flaggor i historiken (ingår endast när true):

För WRITE och REPLACE TABLE åtgärder:

• isDynamicPartitionOverwrite: presentera när läget för dynamisk partitionsöverskrivning användes
• canOverwriteSchema: presentera när schemaöverskrivning (overwriteSchema) aktiverades
• canMergeSchema: presentera när schemasammanslagning (mergeSchema) aktiverades

För REPLACE TABLE åtgärder:

• predicate: närvarande när replaceWhere användes
• isV1WriterSaveAsTableOverwrite: förekommer när ersättningen har utlösts av en .saveAsTable-överskrivning

Biblioteksuppgraderingar

• Uppgraderade Python bibliotek:

  Inga bibliotek har uppgraderats i den här versionen.

• Uppgraderade R-bibliotek:

  Inga bibliotek har uppgraderats i den här versionen.

• Uppgraderade Java bibliotek:

  • io.delta.delta-sharing-client_2.13 från 1.3.9 till 1.3.10

Apache Spark

Databricks Runtime 18.2 innehåller Apache Spark 4.1.0. Den här versionen innehåller alla Spark-korrigeringar och förbättringar som ingår i Databricks Runtime 18.1, samt följande ytterligare felkorrigeringar och förbättringar som gjorts i Spark:

• SPARK-56219 Återställ "[SC-225028][PS] Justera groupby idxmax och idxmin beteende med skipna=False till att stämma överens med Pandas 2/3"
• SPARK-56204 Ta Alias bort omslutningar från inbäddade uttryck för tabellrader i parsern
• SPARK-56186 Dra tillbaka pypy
• SPARK-56202 Refaktorisering av anslutningstester för direktuppspelning: delad bas-/svithierarki och förenkla lägesutskick
• SPARK-56221 Funktionsparitet mellan spark.catalog.* och DDL-kommandon
• SPARK-56301 Åtgärda stavfel i error-conditions.json
• SPARK-55729 Stöd för tillståndsdatakällans läsare för nytt tillståndsformat v4 vid stream-stream-anslutning
• SPARK-56256 Lägga till emptyDataFrame API i SparkSession
• SPARK-56205 Verifiera kontrollpunkt-ID för grundtillståndslager innan genomförande av mikrobatch
• SPARK-55827 Åtgärda typtips för datakällsarbetare
• SPARK-55579 Byt namn på PySpark-felklasser till eval-type-agnostic
• SPARK-56247 Åtgärda återställningsbeteendet och ange tips om inheritable_thread_target
• SPARK-56244 Förfina benchmark-klasslayouten i bench_eval_type.py
• SPARK-56262 Ta bort den onödiga inaktiveringen av mypy-kontrollen för typer
• SPARK-55969 regr_r2 ska behandla första param som beroende variabel
• SPARK-56179 Konsolidera felklasser för typmatchningsfel – del 3
• SPARK-55630 Hoppa över uppdatering av matchad flagga för icke-yttre sida i stream-stream join v4
• SPARK-56217 Åtgärda bucketBy-undantag i anslutning
• SPARK-56225 Förbättra felmeddelandet Visa MED SCHEMA EVOLUTION
• SPARK-55865 Byt namn på _LEGACY_ERROR_TEMP_1266 till CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Byt namn på _LEGACY_ERROR_TEMP_2045 till UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Använd ArrowBatchTransformer.enforce_schema för att ersätta kolumnvis typ av tvångslogik
• SPARK-56245 Åtgärda DataFrame.eval-tilldelning på plats på Pandas 3
• SPARK-56062 Isolera memory_profiler för att förbättra importtiden
• SPARK-55964-systemkatalogen vinner över användarkatalogen för BUILTIN- och SESSION-scheman.
• SPARK-56226 Fånga analysfel innan InternalFrame.__init__ i .loc
• SPARK-55723 Generalisera enforce_schema fel till PySparkTypeError
• SPARK-54878 Lägg till alternativet sortKeys i funktionen to_json
• SPARK-56219 Justera groupby idxmax och idxmin skipna=Falskt beteende med Pandas 2/3
• SPARK-44065 Optimera BroadcastHashJoin-skevhet i OptimizeSkewedJoin
• SPARK-56179 Återställ "[SC-225014][PYTHON] Konsolidera felklasser för typmatchningsfel – del 3"
• SPARK-53399 Slå samman Python UDF:er
• SPARK-56224 Anteckningar av polsk typ för accumulators.py
• SPARK-55448 Åtgärda förlust av frågehändelser när sessionen stängs under utförandet av frågan
• SPARK-55862 Byt namn på _LEGACY_ERROR_TEMP_2027 till UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Kör SPARK-49829-tester med VCF-kopplingar nu när StateDataSource stöder det
• SPARK-56179 Konsolidera felklasser för typmatchningsfel – del 3
• SPARK-56184 Ersätt assert med rätt SparkRuntimeException i partitionskolumnparsning
• SPARK-56206 Åtgärda skiftlägesokänslig identifiering av CTE-namn
• SPARK-55866 Byt namn på _LEGACY_ERROR_TEMP_2145 till OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Fördröjd import av psutil för att förbättra importhastigheten
• SPARK-56066 Lazy import numpy för att förbättra importhastigheten
• SPARK-55719 Ta bort utfasningsvarning för spark.sql.hive.convertCTAS
• SPARK-56179 Konsolidera felklasser för typmatchningsfel – del 2
• SPARK-55510 Uppdatera structured-streaming-state-data-source.md dokument för att återspegla deleteRange
• SPARK-56050 Lös ivrigt IDENTIFIER() med strängliteraler vid parsningstid
• SPARK-56151 Förbättra CreateVariable-visningssträngen
• SPARK-55751 Lägga till mått i tillståndslagerinläsningar från DFS
• SPARK-56188 Justera Series.map({}) med pandas 3 tomt dikteringsbeteende
• SPARK-55964 Återställ "[SC-223957] systemkatalog vinner över användarkatalogen för BUILTIN- och SESSION-scheman."
• SPARK-55577 Omstrukturera SQL_SCALAR_ARROW_ITER_UDF omslutnings-, mappnings- och serialiserarlogik
• SPARK-55596 DSV2 Förbättrad partitionsstatistikfiltrering
• SPARK-56179 Återställ "[SC-224777][PYTHON] Konsolidera felklasser för typmatchningsfel – del 2"
• SPARK-55964-systemkatalogen vinner över användarkatalogen för BUILTIN- och SESSION-scheman.
• SPARK-56050 Återställ "[SC-224153][SQL] Lös ivrigt IDENTIFIER() med strängliteraler vid parsningstid"
• SPARK-56179 Konsolidera felklasser för typmatchningsfel – del 2
• SPARK-56102UnionEstimation kodrensning
• SPARK-51712 Svälja icke-dödliga throwables när du löser tabeller/vyer i spark.catalog.listTables()
• SPARK-55881 Lägg till queryId, errorMessage och rootExecutionId i SQL-körnings-REST API
• SPARK-56050 Lös ivrigt IDENTIFIER() med strängliteraler vid parsningstid
• SPARK-55628 Integrera stream-kopplingstillståndsformat V4
• SPARK-56187 Åtgärda sorteringsordning med null-värden för Series.argsort för pandas 3
• SPARK-56167 Justera astype så att det överensstämmer med standardsträngsbeteendet i pandas 3
• SPARK-56018 Använd ruff som formaterare
• SPARK-56042 Åtgärda mått för byte av extern/intern kolfamilj i RocksDBStateStoreProvider
• SPARK-56179 Konsolidera felklasser för typmatchningsfel – del 1
• SPARK-56089 Justera asinh/acosh med fdlibm-algoritmen för kompatibilitet mellan motorer
• SPARK-55453 Åtgärda like-mönstermatchning för ytterligare Unicode-tecken
• SPARK-52785 Förenkla super()-syntax i PySpark
• SPARK-56169 Korrigering ClassCastException vid felrapportering när GetStructField underordnad typ ändras av plantransformeringen
• SPARK-55557 Hyperboliska funktioner bör inte flöda över med stora indata
• SPARK-47997 Lägg till parametern errors i DataFrame.drop och Series.drop
• SPARK-55008 Visa fråge-ID i SparkUI
• SPARK-54660 Lägga till RTM-utlösare i Python
• SPARK-56047distinctCount Sprida genom Unionen i CBO-statistikuppskattning
• SPARK-56111 Lägg till SparkContext.isDriver() och använd det i kodbasen
• SPARK-55999 Aktivera forceSnapshotUploadOnLag som standard
• SPARK-55610 Lägg till getExecutorInfos i StatusTracker i Python
• SPARK-55728 Introducera konfiguration för filkontrollsummans trådpoolsstorlek och stöd för att inaktivera trådpoolen
• SPARK-55686 SizeEstimator tar hand om kompakta objektrubriker
• SPARK-56044 HistoryServerDiskManager tar inte bort App Store vid lansering när appen inte är i aktiv karta
• SPARK-55809 HeapHistogram använder DiagnosticCommandMBean i stället för jmap-underprocess
• SPARK-56122 Använd numerisk dtype-kontroll anpassad till pandas i Series.cov
• SPARK-56113 Förbättra pandas 3-strängåterställning i Pandas-on-Spark
• SPARK-56118 Matcha Pandas 3.0 bool-hantering i GroupBy.quantile
• SPARK-53823 Implementera listan över tillåtna för realtidsläge
• SPARK-55977 Åtgärda isin() för att använda strikt typmatchning som Pandas
• SPARK-54027 Stöd för Kafka Source RTM
• SPARK-50284 Ändra dokument för funktionen parseJson
• SPARK-56035 [SQL] Introduktion AggregationValidator för verifiering av enstaka pass Aggregate
• SPARK-55557 Återställ "[SC-223720][SQL] Hyperboliska funktioner bör inte flöda över med stora indata"
• SPARK-56075 Ta bort en batch med döda python-felklasser
• SPARK-55967 Enhetliggör kolumnkonvertering för connect DataFrame
• SPARK-53915 Lägg till RealTimeScanExec och möjlighet att köra tidskrävande batchar
• SPARK-55557 Hyperboliska funktioner bör inte flöda över med stora indata
• SPARK-55147 Ange tidsstämpelintervall för hämtning av tidsintervallsammanslagning i V4-lagringsformat
• SPARK-56056 Stöd för enklare arbetsprofilering med viztracer
• SPARK-55948 Lägg till DSv2 CDC-anslutnings-API, analysmatchning och SQL CHANGES-sats
• SPARK-54599 Använd igen "[SC-219008][PYTHON] Omstrukturera PythonExcept...
• SPARK-55390 Konsolidera SQL_SCALAR_ARROW_UDF-, mappnings- och serialiseringslogik
• SPARK-56023 Bättre belastningsutjämning i LowLatencyMemoryStream
• SPARK-55986 Uppgradera svart till 26.3.1
• SPARK-55667 Flytta check_dependencies till init
• SPARK-55145 Stöd för Avro för tidsstämpelbaserade RocksDB-tillståndsnyckelkodare
• SPARK-53970 Ta bort felaktig "valfri" tagg för messageName...
• SPARK-55059 Återställ "[SC-224058][PYTHON] Ta bort lösningen för tomma tabeller i toPandas"
• SPARK-50111 Lägg till stöd för underplottar för cirkeldiagram i Plotly-backend
• SPARK-56081 Justera idxmax- och idxmin NA-hantering med Pandas 3
• SPARK-56080 Justera Series.argmax/argmin med Pandas 3.0 NA-hantering
• SPARK-56060 Hantera pandas 3 null-strängkonvertering i describe() för tomma tidsstämpelramar
• SPARK-55059 Ta bort en tom tabelllösning i toPandas
• SPARK-55995 Stöd FÖR TIDSSTÄMPEL MED LOKAL TIDSZON i SQL-syntax
• SPARK-55976 Använd Set i stället för Seq för skrivbehörigheter
• SPARK-56073 Förenkla bygget av PythonRunnerConfMap
• SPARK-55887 Särskild hantering för CollectLimitExec/CollectTailExec för att undvika fullständig tabellskanning
• SPARK-55980 Använd alltid _cast_back_float i numerisk aritmetik
• SPARK-55357 Åtgärda docstring för timestamp_add
• SPARK-55667 Återställ "[SC-223289][PYTHON][CONNECT] Flytta check_dependencies till init"
• SPARK-54285 Återställ "[PYTHON] Cachelagra tidszonsinformation för att undvika dyr tidsstämpelkonvertering"
• SPARK-56021 Öka maxChangeFileReplay-standardtröskeln för AutoSnapshotRepair från 50 till 500
• SPARK-55870 Lägga till dokument för geo-typer
• SPARK-55962 Använd getShort i stället för getInt att casta in putShortsFromIntsLittleEndian på Little Endian-plattformar
• SPARK-55903 Förenkla MERGE-schemautveckling och kontrollera skrivbehörigheter
• SPARK-55326 En fjärrsession frigörs när SPARK_CONNECT_RELEASE_SESSION_ON_EXIT är inställd
• SPARK-55667 Flytta check_dependencies till init
• SPARK-55884 Lägg till v1StatsToV2Stats till DataSourceV2Relation
• SPARK-55929 Lägg till saknad toString() i TableChange.UpdateColumnDefaultValue
• SPARK-55851 Förtydliga typer av partition och läsning av datakällor
• SPARK-55828 Lägg till DSV2 TableChange toString och fixa saknad felklass för Merge Into Schema Evolution
• SPARK-55790 Skapa ett fullständigt SRS-register med proj 9.7.1-data
• SPARK-55645 Lägg till serdeName i CatalogStorageFormat
• SPARK-54796 Åtgärda NPE som orsakas av ett kapplöpningstillstånd mellan initiering av executor och shuffle-migrering
• SPARK-55983 Nya funktioner för enkelpassanalysator och felkorrigeringar
• SPARK-55964 Cachesammanhållning: rensa funktionsregistret på DROP DATABASE
• SPARK-55868 Åtgärda predikatnedtryckning för inmemorytabell för V2-filters
• SPARK-55973 LeftSemi-optimering för stream-stream-anslutning
• SPARK-54665 Åtgärda jämförelse mellan boolesk och sträng för att matcha Pandas-beteende
• SPARK-55539 Tillåt gjutning från GeographyType till GeometryType
• SPARK-55695 Undvik dubbel planering i åtgärder på radnivå
• SPARK-55904 Använda _check_same_session för att begränsa typer
• SPARK-55965 Lägg till varning när pandas >= 3.0.0 används med PySpark
• SPARK-55493 [SS] Använd inte mkdirs i loggkatalogen för förskjutning/incheckning av kontrollpunkter i StateDataSource
• SPARK-55851 Återställ "[SC-223270][PYTHON] Förtydliga typer av datakällans partition och läsning"
• SPARK-55645 Återställ "[SC-221839][SQL] Lägg till serdeName i CatalogStorageFormat"
• SPARK-55640 Sprida WKB-parsningsfel för geometri och geografi
• SPARK-55693 Undvik dödläge genom att göra SparkSession.observationManager till en icke-lat val
• SPARK-55528 Lägg till standardsorteringsstöd för SQL UDF:er
• SPARK-55860 Använd UNABLE_TO_INFER_SCHEMA i stället för UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Lägg till Sql-tillstånd för InvalidPlanInput för sql/connect
• SPARK-55645 Lägg till serdeName i CatalogStorageFormat
• SPARK-55716 Stöd för INTE NULL-begränsningstvingande för infogningar av V1-filkälltabell
• SPARK-53226 Få ClosureCleaner att fungera med Java22+
• SPARK-55997 Ange övre gräns till prefixScan i RocksDB-tillståndslagerprovidern
• SPARK-55851 Förtydliga typer av partition och läsning av datakällor
• SPARK-55954 Ta bort den felaktiga överlagringstyptipset för fillna
• SPARK-56016 Bevara namngivna seriekolumner i sammanfogning med ignore_index på Pandas 3
• SPARK-55502 Felhantering för att förena UDF- och UDTF-pilkonvertering
• SPARK-55989 Bevara icke-int64-index dtypes i restore_index
• SPARK-55955 Ta bort tips för överlagringstyp för släpp
• SPARK-55945 [SDP] Stöd för strukturerade identifierare för flöden i SDP-ivriga analysprotos
• SPARK-55714 JDK kan utlösa ArithmeticException utan meddelande
• SPARK-55991 Åtgärda unicode-relaterad SQL-textskada med parametrar
• SPARK-55696 Lägg till explicit fel i Encoders.bean för gränssnittsklassen
• SPARK-55533 Stöd för IGNORE NULLS/RESPECT NULLS för collect_set
• SPARK-55987 Åtgärda extrahering av tidsstämpel för V4-anslutning med hjälp av findJoinKeyOrdinalForWatermark
• SPARK-55946 Konfigurera pandas_priority så att blandade binära ops skickas korrekt till pandas-on-Spark
• SPARK-55264 Lägg till ExecuteOutput-kommandot i Spark Connect-pipelines proto
• SPARK-47672 Undvik dubbel eval från pushDown med projektion
• SPARK-55780 Ersätt PNG-logotypen med SVG i Spark Web UI
• SPARK-55821 Framtvinga argument med enbart nyckelord i serialiserarens init-metoder
• SPARK-55621 Åtgärda tvetydig och onödig unicode-användning
• SPARK-55662 Implementering av argumentet idxmin-axel
• SPARK-55631ALTER TABLE måste ogiltigförklara cacheminnet för DSv2-tabeller
• SPARK-55692 Korrigering SupportsRuntimeFiltering och SupportsRuntimeV2Filtering dokumentation
• SPARK-55928 Ny linter för konfigurationseffektivitet i vyer och UDF:er
• SPARK-55440 Types Framework – Fas 1a – Core Type System Foundation
• SPARK-55631 Återställ "[SC-221596][SQL] ALTER TABLE måste ogiltigförklara cacheminnet för DSv2-tabeller"
• SPARK-55631ALTER TABLE måste ogiltigförklara cacheminnet för DSv2-tabeller
• SPARK-55683 Optimera VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Det gick inte att läsa in tillståndsarkivet eftersom den återanvända SST-filen togs bort av underhåll
• SPARK-55946 Återställ "[SC-223027][PS] Konfigurera pandas_priority så att blandade binära ops skickas korrekt till pandas-on-Spark"
• SPARK-55891 Bevara SQL-skriptkontexten inuti EXECUTE IMMEDIATE
• SPARK-55907 Åtgärda felaktiga felpositioner för ogiltiga datatyper i CREATE FUNCTION
• SPARK-55946 Konfigurera pandas_priority så att blandade binära ops skickas korrekt till pandas-on-Spark
• SPARK-55694 Blockera begränsningar i CTAS/RTAS på parsningsnivå
• SPARK-55682 ServiceLoader-returnerad iterator kan utlösas NoClassDefFoundErrorhasNext()
• SPARK-55155 Korrigering SETCATALOG för att använda specialtecken och backticks i identifierarnamnet
• SPARK-55932 Åtgärda XML till variantparser-låsning i negativ skala
• SPARK-55673 Lägga till fler tester för kapslad typkodare
• SPARK-55679 Åtgärda detektering sun.io.serialization.extendedDebugInfo på Java 25
• SPARK-55957 Lägg till "DATA_SOURCE_NOT_FOUND" i Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Lägga till AQEShuffleRead-egenskaper i fysiskt planträd
• SPARK-55652 Optimera VectorizedPlainValuesReader.readShorts() med direkt matrisåtkomst för heapbuffertar
• SPARK-55659 Förbättra EventLogFileWriter loggåtgärden stop
• SPARK-54666 Lämna numeriska typer oförändrade på to_numeric
• SPARK-55654 Aktivera TreePattern-beskärning för EliminateSubqueryAliases och ResolveInlineTables
• SPARK-55533 Återställ "[SC-220538][SQL] Stöd för IGNORE NULLS/RESPECT NULLS för collect_set"
• SPARK-55901 Generera ett felmeddelande från Series.replace() utan argument
• SPARK-55896 Använda numpy-funktioner i stället för builtins
• SPARK-55655 Gör CountVectorizer ordförråd deterministiskt när räkningarna är lika
• SPARK-55811 [SQL] Fånga NonFatal i stället för UnresolvedException när du anropar nodeWithOutputColumnsString
• SPARK-55533 Stöd för IGNORE NULLS/RESPECT NULLS för collect_set
• SPARK-55435 Använd StringBuilder i stället för StringBuffer
• SPARK-54807 Tillåt kvalificerade namn för inbyggda funktioner och sessionsfunktioner (#198171)
• SPARK-55854 Tagga dubblettattribut för direktströmning i Expandera utdata för att förhindra AMBIGUOUS_REFERENCE
• SPARK-55261 Implementera Lässtöd för Parquet för geo-typer
• SPARK-55416 Streaming Python datakällans minnesläcka när slutpositionen inte uppdateras
• SPARK-55465 Stöd för GeometryType i convert_numpy
• SPARK-55801 Åtgärda typtips för _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Ta bort den oanvända typkontrollen för datetime.date
• SPARK-55663 Förena modulen för datakällfunktioner
• SPARK-55665 Förena hur arbetare upprättar en anslutning till exekutorn
• SPARK-53446 Optimera BlockManager-borttagningsåtgärder med cachelagrade blockmappningar
• SPARK-55867 Åtgärda StringMethods med Pandas 3
• SPARK-55501 Åtgärda listagg distinct + within group order by bug
• SPARK-55558 Lägga till stöd för tuppeln/Theta-uppsättningsåtgärder
• SPARK-55636 Lägga till detaljerade fel vid deduplicering av ogiltiga kolumner
• SPARK-55788 Stöd ExtensionDType för heltal i Pandas UDF
• SPARK-55464 Stöd för GeographyType i convert_numpy
• SPARK-55530 Stöd för Geo-resultatuppsättningar i Hive- och Thrift-servern
• SPARK-55525 Åtgärda UDTF_ARROW_TYPE_CONVERSION_ERROR med en odefinierad felmeddelandeparameter
• SPARK-55626 Läs inte in metadatakolumner i tabellen om det inte behövs i V2TableUtil
• SPARK-55533 Återställ "[SC-220538][SQL] Stöd för IGNORE NULLS/RESPECT NULLS för collect_set"
• SPARK-55435 Återställ "[SC-219656][CORE][SQL] Använd StringBuilder i stället för StringBuffer"
• SPARK-55533 Stöd för IGNORE NULLS/RESPECT NULLS för collect_set
• SPARK-54452 Åtgärda tomt svar från SparkConnect-servern för spark.sql(...) i FlowFunction
• SPARK-55638 Omstrukturera WKT-serialisering i GeometryModel
• SPARK-55551 Förbättra BroadcastHashJoinExec utdatapartitionering
• SPARK-54314 Förbättra Server-Side debuggability i Spark Connect genom att samla in klientprogrammets filnamn och radnummer
• SPARK-55517 Optimera VectorizedPlainValuesReader.readBytes() med direkt matrisåtkomst för heapbuffertar
• SPARK-55495 Korrigering EventLogFileWriters.closeWriter för att hantera checkError
• SPARK-55279 Lägg till sketch_funcs grupp för DataSketches SQL-funktioner
• SPARK-55435 Använd StringBuilder i stället för StringBuffer
• SPARK-55064 Stöd för obestämda shuffle-försök på frågenivå
• SPARK-55411 SPJ kan utlösa ArrayIndexOutOfBoundsException när kopplingsnycklar är mindre än klusternycklar
• SPARK-55451 Markörer måste börja samla in resultat på OPEN, inte först FETCH
• SPARK-54687 Lägga till fler kantfall med generatorer
• SPARK-55691 GetStatus-klient
• SPARK-55277 Lägg till protobuf_funcs grupp för Protobuf SQL-funktioner
• SPARK-55822 Byt _LEGACY_ERROR_TEMP_0052 namn till CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Åtgärda oväntat undantag i vissa CoarseGrainedExecutorBackendSuite-testfall
• SPARK-55275 SQL-tillståndstäckning: IllegalStateException
• SPARK-55462 Återinför "[SC-221123][PYTHON] Lägga till stöd för VariantType i convert_numpy"
• SPARK-55062 Stöd för proto2-tillägg i protobuf-funktioner
• SPARK-55248 Rensa jacksons inaktuella API-användning i streaming.checkpointing.Checksum
• SPARK-55250 Minska Hive-klientanrop på CREATE NAMESPACE
• SPARK-55247 Rensa inaktuell API-användning relaterad till o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql bör hoppa över kommentarsraden med inledande blanksteg
• SPARK-55826 Byt _LEGACY_ERROR_TEMP_0006 namn till MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Lägg till avro_funcs grupp för Avro SQL-funktioner
• SPARK-54914 [SQL] Åtgärda DROP-operatorn i rörsyntaxen för att stödja kvalificerade kolumnnamn
• SPARK-55113EnsureRequirements ska kopiera taggar
• SPARK-55074 Lägg till test för sammanslagning till ANSI-typtvång
• SPARK-54217 Synkronisera PythonRunners MonitorThread kill-beslut
• SPARK-54374 Förstora SVG viewBox-attributet för initiering av SQL-planvisualisering
• SPARK-54971 Lägg till WITH EVOLUTION-syntax SCHEMA för SQL INSERT
• SPARK-55065 Undvik att göra två JDBC API-anrop
• SPARK-55033 Åtgärda stringArgs för DSv2-skrivkommandon
• SPARK-55041 Rensa några oanvända privata funcion/val från kärnmodulen
• SPARK-55338 Centralisera dekomprimeringslogiken för Spark Connect-begäran i gRPC-interceptorn
• SPARK-55825 Byt _LEGACY_ERROR_TEMP_1309 namn till PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Verifiera att eventTime i medWatermark är en kolumn på den översta nivån
• SPARK-55802 Åtgärda heltalsöverskridande vid beräkning av Arrow batch-byten
• SPARK-55694 Blockera begränsningar i CTAS/RTAS på parsningsnivå
• SPARK-55843 Hantera enheten för datetime64- och timedelta64-datatyper
• SPARK-55824 Byt _LEGACY_ERROR_TEMP_1034 namn till WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Omstrukturera ExpandExec för att bli mer kortfattad
• SPARK-55341 Lägg till flaggan på lagringsnivå för cachelagrade lokala relationer
• SPARK-54599 Återställ "[SC-219008][PYTHON] Omstrukturera PythonException så att det kan ta errorClass med sqlstate"
• SPARK-46167 Lägga till axelimplementering i DataFrame.rank
• SPARK-54599 Omstrukturera PythonException så att det kan ta felklass med SQLSTATE
• SPARK-55529 Återanvänd [ES-1721989][SC-220716][PYTHON] Återställ batchsammanslagning på Arrow-nivå för icke-iterativa applyInPandas
• SPARK-55794 Alltid alias för OuterReferences
• SPARK-55583 Validera Arrow-schema-typer i Python-datakälla
• SPARK-37711 Minska pandas beskriver antalet jobb från O(N) till O(1)
• SPARK-46168 Lägg till axelargument för idxmax
• SPARK-46162 Implementera nunique med axel=1
• SPARK-55552 Lägg till VariantType-stöd i ColumnarBatchRow.copy() och MutableColumnarRow
• SPARK-55647 Åtgärda ConstantPropagation felaktig ersättning av attribut med icke-binärstabil sortering
• SPARK-55747 Åtgärda NPE vid åtkomst till element från en matris som är null
• SPARK-55757 Förbättra spark.task.cpus valideringen
• SPARK-55699 Inkonsekvent läsning av LowLatencyClock när den används tillsammans med ManualClock
• SPARK-55702 Stöd för filterpredikat i fönsteraggregatfunktioner
• SPARK-55510 Åtgärda deleteRange of Rocksdb state store för att anropa changelogWriter
• SPARK-55739 Optimera OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian användningen på Platform.copyMemory små endianska plattformar
• SPARK-55730 Gör inte tidszonen lägre
• SPARK-55701 ES-1694761[SS] Åtgärda konkurrenstillstånd i CompactibleFileStreamLog.allFiles
• SPARK-55462 Återställ "[SC-221123][PYTHON] Stöder VariantType i convert_numpy"
• SPARK-55144 Introducera ny tillståndsformatversion för performant stream-koppling
• SPARK-55606 Implementering på serversidan av GetStatus API
• SPARK-55462 Stöd för VariantType i convert_numpy
• SPARK-55600 Åtgärda pandas till pilen förlorar radantal när schemat har 0 kolumner på klassisk
• SPARK-55700 Åtgärda hantering av heltalsnycklar i serier med index som inte är heltal
• SPARK-55349 Konsolidera pandas-till-Apache Arrow-konverteringsverktyg i serialiserare
• SPARK-55681 Åtgärda likhet med singleton DataType efter deserialisering (återförsök)
• SPARK-55681 Återställ "[SC-221427][SC-214079][SQL] Åtgärda singleton DataType-likhet efter deserialisering"
• SPARK-55681 Åtgärda likhet med singleton DataType efter deserialisering
• SPARK-55674 Optimera tabellkonvertering med 0 kolumner i Spark Connect
• SPARK-55323 Tillämpa igen "[SC-218885][PYTHON] Flytta UDF-metadata till EvalConf för att förenkla arbetsprotokollet"
• SPARK-55322 Återanvändning [SC-221062][SQL] MaxBy och MinBy-överlagring med K element
• SPARK-55323 Återställ "[SC-218885][PYTHON] Flytta UDF-metadata till EvalConf för att förenkla arbetsprotokollet"
• SPARK-55615 Flytta SparkContext-import till klassgren
• SPARK-55323 Flytta UDF-metadata till EvalConf för att förenkla arbetsprotokollet
• SPARK-55648 Hantera ett oväntat nyckelordsargumentfel groupby(axis) med Pandas 3
• SPARK-55647 Återställ "[SC-221274][SQL] Åtgärda ConstantPropagation felaktig ersättning av attribut med icke-binärt stabila sorteringar"
• SPARK-55646 Omstrukturerade SQLExecution.withThreadLocalCaptured för att separera trådlokal avbildning från körning
• SPARK-54854 Lägga till ett UUIDv7 queryId i SQLExecution-händelser
• SPARK-55619 Åtgärda anpassade metrik för sammanslagna partitioner
• SPARK-55647 Åtgärda ConstantPropagation felaktig ersättning av attribut med icke-binärstabil sortering
• SPARK-55322 Återställ "[SC-221062][SQL] MaxBy och MinBy överbelastning med K-element"
• SPARK-54740 Starta felhandler tidigt i daemonläge
• SPARK-55493 [SS] Inte mkdirs i strömning kontrollpunkt tillstånd katalog i StateDataSource
• SPARK-55322MaxBy och MinBy överbelastning med K-element
• SPARK-55625 Åtgärda StringOps för att få str dtype att fungera korrekt
• SPARK-55161 Återanvänd "[SC-218867][PYTHON] Stöd för profiler på Python-datakälla"
• SPARK-55505 Åtgärda NPE när man läser EXECUTION_ROOT_ID_KEY i samtidiga scenarier
• SPARK-55111 Återkontrollera oavslutad ompartitionering vid omstart av fråga
• SPARK-55593 Förena aggregeringstillstånd för vector_avg/vector_sum
• SPARK-55500 Åtgärda analyscykeln mellan ApplyDefaultCollation, ExtractWindowExpressions och CollationTypeCasts
• SPARK-55494 Introducera iterator/prefixScan med flera värden i StateStore API
• SPARK-55561 Lägga till återförsök för alla Kafka-administratörsklientmetoder
• SPARK-55296 Stöd för CoW-läge med Pandas 3
• SPARK-55479 Åtgärda formatproblem i SparkShreddingUtils
• SPARK-55372 Korrigering SHOW CREATE TABLE för tabeller/vyer med standardsortering
• SPARK-55333 Aktivera DateType och TimeType i convert_numpy
• SPARK-55129 Introducera nya nyckelkodare för tidsstämpel som första klass (UnsafeRow)
• SPARK-46163 DataFrame.update-parametrar filter_func och fel
• SPARK-55372 Återställ "[SC-220571][SQL] Korrigering SHOW CREATE TABLE för tabeller/vyer med standardsortering"
• SPARK-55480 Ta bort all oanvänd 'noqa' för 'ruff'
• SPARK-55471 Lägga till optimerarstöd för SequentialStreamingUnion
• SPARK-55584 Skapa bättre felmeddelande för EXEC IMMEDIATE med skalära underfrågor
• SPARK-55161 Återställ "[SC-218867][PYTHON] Stöd profilerare på python-datakälla"
• SPARK-55506 Skicka explicit indataschema till to_pandas i CogroupPandasUDFSerializer
• SPARK-55586 Lägg till jdbc.py exempel
• SPARK-55161 Stöd för profileringsverktyg på Python-datakälla
• SPARK-55529 Återställ "[SC-220716][PYTHON] Återställ batchsammanslagning på pilnivå för icke-iterator applyInPandas"
• SPARK-55385 Minimera omkomputationen i zipWithIndex
• SPARK-55529 Återställa batchsammanslagning på pilnivå för icke-iterator applyInPandas
• SPARK-55389 Konsolidera SQL_MAP_ARROW_ITER_UDF omslutnings-, mappnings- och serialiserarlogik
• SPARK-55406 Omimplementera trådpoolen för ExecutePlanResponseReattachableIterator
• SPARK-55372 Korrigering SHOW CREATE TABLE för tabeller/vyer med standardsortering
• SPARK-55367 Använd venv för att köra run-pip-tests
• SPARK-55355 Uppgradera mypy-versionen till den senaste
• SPARK-55460 Ta bort E203 från ruffs ignorera lista
• SPARK-55541 Stöd för geometri och geografi i katalysatortypkonverterare
• SPARK-55449 Aktivera WKB-parsning och skrivning för geografi
• SPARK-55339 Implementera stöd för WKT-skrivare för Geo-objekt
• SPARK-54122 Implementera TwsTester i Scala
• SPARK-54805 Implementera TwsTester i PySpark
• SPARK-55256 Använd på nytt "[SC-218596][SQL] Stöd för IGNORE NULLS/RESPECT NULLS för array_agg och collect_list"
• SPARK-55156 Hantera include_groups för groupby.apply
• SPARK-55401 Lägg till logik för återförsök och timeout-hantering i pyspark-installationsnedladdning
• SPARK-55229 Implementera DataFrame.zipWithIndex i PySpark
• SPARK-55462 Stöd för UserDefinedType i convert_numpy
• SPARK-55483 Åtgärda NPE i PivotFirst när pivotkolumnen är en icke-atomisk typ med null-värden
• SPARK-55490 Se till att groupby(as_index=False) inkluderar en gruppering som inte finns i DataFrame med pandas 3
• SPARK-55473 Ersätt itertools.tee med kedja i applyInPandasWithState
• SPARK-55404 Alltid utlösa KeyboardInterrupt från SIGINT-hanteraren
• SPARK-55407 Ersätt logger.warn med logger.warning

Stöd för Databricks ODBC/JDBC-drivrutin

Databricks har stöd för ODBC/JDBC-drivrutiner som släppts under de senaste två åren. Ladda ned de nyligen släppta drivrutinerna och uppgradera (ladda ned ODBC, ladda ned JDBC).

Systemmiljö

• Operativsystem: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta lake: 4.1.0

Installerade Python bibliotek

Installerade R-bibliotek

R-bibliotek installeras från Posit Správca balíkov CRAN-snapshot 2025-11-20.

Installerade Java- och Scala-bibliotek (Scala 2.13-klusterversion)