Databricks Runtime 13.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 13.2, unterstützt von Apache Spark 3.4.0.

Diese Version wurde von Databricks im Juli 2023 veröffentlicht.

Neue Features und Verbesserungen

• Änderungsprotokoll-Prüfpunkte für den RocksDB-Zustandsspeicher
• Verbesserte Zuverlässigkeit für VACUUM mit oberflächlichem Klon im Unity-Katalog.
• Unterstützung für Python-UDFs in SQL
• Delta Lake UniForm für Apache Iceberg ist in der öffentlichen Vorschau
• Delta Lake Liquid Clustering befindet sich in der öffentlichen Vorschau
• Archivalunterstützung in Azure Databricks
• IDENTIFIER Unterstützung von Klauseln
• Unity Catalog-Unterstützung für Python und Pandas User-Defined Functions (UDFs)
• Freigeben von Schemas mithilfe von Delta Sharing
• Fehlerbehebungen

Changelog-Checkpoints für den RocksDB-Statusspeicher

Sie können Änderungsprotokoll-Prüfpunkte aktivieren, um die Prüfpunktdauer und End-to-End-Latenz für zustandsbehaftete strukturierte Streamingworkloads zu verringern. Databricks empfiehlt, Änderungsprotokollprüfpunkte für alle zustandsbehafteten Abfragen von strukturiertem Streaming zu aktivieren. Weitere Informationen unter Aktivieren der Änderungsprotokollprüfpunkte.

Verbesserte Zuverlässigkeit für VACUUM mit flachem Klon im Unity-Katalog.

Wenn Sie verwaltete Unity Catalog-Tabellen für die Quelle und das Ziel eines flachen Klonvorgangs verwenden, verwaltet Unity Catalog die zugrunde liegenden Datendateien zum Verbessern der Zuverlässigkeit für die Quelle und das Ziel des Klonvorgangs. Durch das Ausführen von VACUUM auf die Quelle eines flachen Klons wird die geklonte Tabelle nicht beschädigt. Siehe "Verwenden VACUUM mit Flachklonen im Unity-Katalog".

Unterstützung für Python UDFs in SQL

Sie können jetzt benutzerdefinierte Funktionen mithilfe von Python in SQL-CREATE FUNCTION-Anweisungen im Unity-Katalog deklarieren. Siehe benutzerdefinierte Funktionen (USER-Defined Functions, UDFs) im Unity-Katalog.

Delta Lake UniForm für Apache Iceberg befindet sich in öffentlicher Beta-Version

Mit dem Delta Lake Universal Format (UniForm) können Sie Delta-Tabellen mit Apache Iceberg-Clients lesen. Siehe Lesen von Delta-Tabellen mit Iceberg-Clients.

Delta Lake Liquid Clustering befindet sich in der öffentlichen Vorschau

Delta Lake Liquid Clustering ersetzt Tabellenpartitionierung und ZORDER, um Entscheidungen zum Datenlayout zu vereinfachen und die Abfrageleistung zu optimieren. Siehe Verwenden von Flüssigclustering für Tabellen.

Archivierungsunterstützung in Azure Databricks

Die Archivierungsunterstützung in Azure Databricks führt eine Sammlung von Funktionen ein, mit denen Sie cloudbasierte Lebenszyklusrichtlinien auf Cloud-Objektspeicher mit Delta-Tabellen anwenden können, um Dateien in Archivierungsspeicherebenen zu verschieben. Siehe Archivalunterstützung in Azure Databricks.

IDENTIFIER Klauselunterstützung

Verwenden Sie IDENTIFIER(:mytable), um Tabellen-, Spalten-, Funktions- und Schemanamen in vielen SQL-Anweisungen sicher zu parametrisieren.

Unity-Katalogunterstützung für Python- und Pandas-User Defined Functions (UDFs)

Auf Databricks Runtime 13.2 und höher werden in Python geschriebene benutzerdefinierte Funktionen (USER-Defined Functions, UDFs) in Clustern unterstützt, die den Standardzugriffsmodus (ehemals gemeinsam genutzten Zugriffsmodus) in einem Unity-Katalog-fähigen Arbeitsbereich verwenden. Dazu gehören Python und Pandas UDFs. Ausführliche Informationen zu Python UDFs finden Sie unter Benutzerdefinierte Skalarfunktionen – Python.

Freigeben von Schemas mithilfe von Delta Sharing

In Databricks Runtime 13.2 bietet die Möglichkeit, ALTER SHARE <share-name> ADD SCHEMA <schema-name> zu verwenden, um über Delta Sharing ein gesamtes Schema freizugeben. So erhält der Empfänger zum Zeitpunkt der Freigabe Zugriff auf alle Tabellen und Ansichten im Schema sowie auf alle Tabellen und Ansichten, die dem Schema künftig hinzugefügt werden. Siehe Hinzufügen von Schemas zu einer Freigabe und ALTER SHARE.

Fehlerkorrekturen

• Es wurde ein Fehler mit dem JSON-Reader behoben, bei dem Datensätze im PERMISSIVE-Modus analysiert wurden, wenn failOnUnknownFieldsmode aktiviert war. Datensätze werden jetzt im DROPMALFORMEDparser-Modus gelöscht oder in den badRecordsPath geschrieben, wenn eine dieser Optionen festgelegt ist. FAILFAST löst einen Fehler aus, wenn ein Spaltentyp nicht übereinstimmt.

Verbesserungen der Bibliothek

• Aktualisierte Python-Bibliotheken:
  • nodeenv von 1.7.0 auf 1.8.0
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • io.delta.delta-sharing-spark_2.12 von 0.6.7 auf 0.7.0

Apache Spark

Databricks Runtime 13.2 enthält Apache Spark 3.4.0. Diese Version enthält alle Spark-Fixes und -Verbesserungen, die in Databricks Runtime 13.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerkorrekturen und Verbesserungen an Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Unterstützung der Insert By Name Anweisung
• [SPARK-43133] [SC-133728] DataStreamWriter-Foreach-Unterstützung in Scala-Client
• [SPARK-43663] [ SC-134135][connect][PS] Enable SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Fix (NullOps|NumOps).(eq|ne) für Spark Connect.
• [SPARK-44021] [SC-134109][sql] Hinzufügen spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] Entfernen Sie __auto_generated_subquery_name aus IDs in Fehlermeldungen
• [SPARK-43976] [SC-133375][core] Behandeln Sie den Fall, in dem modifiedConfigs in Ereignisprotokollen nicht vorhanden ist.
• [SPARK-32559] [SC-133992][sql] Korrigieren Sie die Trim-Logik, die ASCII-Steuerzeichen nicht korrekt behandelt.
• [SPARK-43421] [SC-132930][ss] Changelog-basierte Prüfpunkte für den RocksDB State Store Provider implementieren
• [SPARK-43594] [SC-133851][sql] Hinzufügen von LocalDateTime zu anyToMicros
• [SPARK-43884] [SC-133867] Parameter-Marker in DDL
• [SPARK-43398] [SC-133894][core] Executor-Timeout sollte das Maximum von Leerlauf-Shuffle und RDD-Timeout sein
• [SPARK-43610] [SC-133892][connect][PS] In Spark Connect aktivieren InternalFrame.attach_distributed_column .
• [SPARK-43971] [SC-133826][connect][PYTHON] Unterstützen Sie Python createDataFrame im Streaming
• [SPARK-44006] [SC-133652][connect][PYTHON] Unterstützung von Cache-Artefakten
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Api hinzufügen copyFromLocalToFs
• [SPARK-43921] [SC-133461][protobuf] Generieren von Protobuf-Deskriptordateien während des Erstellungsprozesses
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implementieren der Dateiunterstützung in SparkSession.addArtifacts
• [SPARK-44010] [SC-133744][python][SS][minor] Korrektur des Typs für rowsPerSecond in Python StreamingQueryProgress
• [SPARK-43768] [SC-132398][python][CONNECT] Python Unterstützung der Abhängigkeitsverwaltung in Python Spark Connect
• [SPARK-43979] [13.X] "[SC-133456][sql] Gesammelte Metriken sollten als dasselbe für die Selbstverknüpfung behandelt werden"
• [SPARK-42290] [SC-133696][sql] Der OOM-Fehler kann nicht gemeldet werden, wenn AQE aktiviert ist.
• [SPARK-43943] [SC-133648][sql][PYTHON][connect] Hinzufügen von SQL-mathematischen Funktionen zu Scala und Python
• [SPARK-43747] [SC-132047][python][CONNECT] Implementieren der Pyfile-Unterstützung in SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Mit Spark Connect aktivieren TimedeltaOps.(sub|rsub)
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Aktivieren Sie den Paritätstest: test_line_plot, test_pie_plot.
• [SPARK-43867] [ SC-132895][sql] Verbessern vorgeschlagener Kandidaten für ein nicht aufgelöstes Attribut
• [SPARK-43901] [SC-133454][sql] Avro zur Unterstützung benutzerdefinierter Dezimaltypen, die von Long unterstützt werden
• [SPARK-43267] [SC-133024][jdbc] Behandlung einer unbekannten benutzerdefinierten Spalte als Zeichenfolge in einem Array
• [SPARK-43935] [SC-133637][sql][PYTHON][connect] Fügen Sie xpath_*-Funktionen zu Scala und Python
• [SPARK-43916] [SC-133647][sql][PYTHON][connect] Hinzufügen eines Perzentils zur Scala- und Python-API
• [SPARK-43717] [SC-133455][connect] Scala-Client kann Aggregationsoperationen nicht ausführen, wenn NULL-Partitionen für Scala-primitive Eingaben vorliegen.
• [SPARK-43984] [ SC-133469][sql][PROTOBUF] Ändern, um foreach zu verwenden, wenn map keine Ergebnisse liefert
• [SPARK-43612] [SC-132011][connect][PYTHON] Implementieren von SparkSession.addArtifact(s) in Python Client
• [SPARK-44002] [SC-133606][connect] Handler für Artefaktstatus korrigieren
• [SPARK-43933] [SC-133470][sql][PYTHON][connect] Hinzufügen linearer Regressionsaggregatfunktionen zu Scala und Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Sql/API-Modul erstellen
• [SPARK-43979] [SC-133456][sql] Gesammelte Metriken sollten beim Self-Join als dieselben behandelt werden.
• [SPARK-43977] [SC-133373][connect] Unerwartetes Prüfergebnis beheben von dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] spark protobuf: Fehler bei Enums als Integer beheben
• [SPARK-43930] [SC-133406][sql][PYTHON][connect] Fügen Sie unix_*-Funktionen zu Scala und Python
• [SPARK-43807] [SC-132545][sql] Migrieren _LEGACY_ERROR_TEMP_1269 zu PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] Behebung des Fehlers, der die SQL der Spalte für Quantil nicht anzeigt [Cont|Disc]
• [SPARK-42626] [SC-133248][connect] Hinzufügen destruktiver Iterator für SparkResult
• [SPARK-43333] [SC-132898][sql] Avro das Konvertieren des Union-Typs in SQL mit einem stabilen Feldnamen mit Typ zulassen
• [SPARK-43953] [SC-133134][connect] Entfernen pass
• [SPARK-43970] [SC-133403][python][CONNECT] Ausblenden nicht unterstützter Dataframemethoden aus automatischer Vervollständigung
• [SPARK-43973] [SC-133272][ss][UI] Strukturierte Streaming-Benutzeroberfläche sollte fehlerhafte Abfragen korrekt anzeigen
• [SPARK-42577] [SC-125445][core] Begrenzung der maximalen Anzahl von Versuchen für Phasen hinzufügen, um potenzielle unendliche Wiederholungen zu vermeiden.
• [SPARK-43841] [ SC-132699][sql] Behandlung von Kandidatenattributen ohne Präfix in StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][Core][Follow UP]Ändern der Konfigurationsunterstützungsversion spark.rdd.cache.visibilityTracking.enabled auf 3.5.0
• de-DE: [SPARK-37942] [SC-130983][core][SQL] Fehlerklassen migrieren
• [SPARK-43898] [SC-132926][Core] Automatische Registrierung von immutable.ArraySeq$ofRef für KryoSerializer Scala 2.13
• [SPARK-43775] [SC-132891][sql] DataSource V2: Zulassen, dass Aktualisierungen als Lösch- und Einfügungen dargestellt werden
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] Unterstützung von UserDefinedType in createDataFrame aus einem Pandas DataFrame und toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] SparkSession.Builder.getOrCreate hinzufügen
• [SPARK-43549] [SC-132383][sql] Konvertieren Sie _LEGACY_ERROR_TEMP_0036 in INVALID_SQL_SYNTAX.ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] Korrektur der Akkumulator-Unterzählung im Fall der Wiederholungsaufgabe mit rdd-Cache
• [SPARK-43892] [ SC-133006][python] Hinzufügen von AutoVervollständigen-Unterstützung für df[|] in pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listDatabases hinzu.
• [SPARK-43205] [SC-132623] IDENTIFIER Klausel
• [SPARK-43545] [SC-132378][sql][PYTHON] Unterstützung des geschachtelten Zeitstempeltyps
• [SPARK-43949] [SC-133048][python] Upgrade cloudpickle auf 2.2.1
• [SPARK-43760] [SC-132809][sql] Nullierbarkeit von skalaren Unterabfrageergebnissen
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Fix TimedeltaOps für Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Vorbereiten des Pfads für das Go-Paket
• [SPARK-43894] [ SC-132892][python] Fehler in df.cache() beheben
• [SPARK-43509] [SC-131625][connect] Unterstützung beim Erstellen mehrerer Spark Connect-Sitzungen
• [SPARK-43882] [SC-132888][sql] Weisen Sie _LEGACY_ERROR_TEMP_2122 einen Namen zu
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Fix NumOps für Spark Connect
• [SPARK-43604] [SC-132165][sql] Umgestaltung INVALID_SQL_SYNTAX um zu vermeiden, den Text des Fehlers im Quellcode einzubetten
• [SPARK-43859] [SC-132883][sql] Überschreiben von toString in LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Fügen Sie optionales Muster für Catalog.listCatalogs hinzu.
• [SPARK-43353] Rückgängigmachen „[SC-132734][python] Migrieren von verbleibenden Sitzungsfehlern in Fehlerklasse“
• [SPARK-43375] [SC-130309][connect] Verbessern Sie die Fehlermeldungen für INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Entfernen von überflüssigem toSeq aus SparkConnectPlanner für Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Fix DatetimeOps für Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Fix BinaryOps für Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Fix NullOps für Spark Connect
• [SPARK-43782] [SC-132885][core] Unterstützung der Konfiguration der Protokollierungsstufe mit statischer Spark-Konfiguration
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python-Client-API für DataStreamWriter.foreach()
• [SPARK-43290] [SC-131961][sql] Fügt AES IV- und AAD-Unterstützung zu ExpressionImplUtils hinzu
• [SPARK-43795] [ SC-132532][connect] Parameter entfernen, die für SparkConnectPlanner nicht verwendet werden
• [SPARK-42317] [SC-129194][sql] Weise _LEGACY_ERROR_TEMP_2247 einen Namen zu: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_0017 einen Namen zu
• [SPARK-43834] [SC-132679][sql] Verwenden von Fehlerklassen bei Kompilierungsfehlern ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Weisen Sie Namen der Fehlerklasse _LEGACY_ERROR_TEMP_240[4-5] zu.
• [SPARK-43576] [ SC-132533][Kern] Entfernen nicht verwendeter Deklarationen aus dem Core-Modul
• [SPARK-43314] [SC-129970][connect][PYTHON] Spark Connect-Clientfehler in Fehlerklasse überführen
• [SPARK-43799] [SC-132715][python] Eine binäre Deskriptor-Option zur Pyspark-Protobuf-API hinzufügen
• [SPARK-43837] [SC-132678][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] Weisen Sie der Fehlerklasse einen Namen LEGACY_ERROR_TEMP(1254 & 1315) zu.
• [SPARK-43886] [SC-132808][python] Generische Tupel als Typ-Hinweise von Pandas UDF akzeptieren
• [SPARK-43530] [ SC-132653][protobuf] Deskriptordatei nur einmal lesen
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_241[1-7] zu.
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Fix CategoricalOps für Spark Connect
• [SPARK-39979] [SC-132685][sql] Option zur Nutzung großer variabler Breitenvektoren für Arrow-UDF-Operationen
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Fix StringOps für Spark Connect
• [SPARK-43353] [SC-132734][python] Migriere verbleibende Sitzungsfehler in Fehlerklasse
• [SPARK-43815] [SC-132781][sql] Alias to_varchar hinzufügen für to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Behebung von Problemen mit dem geschachtelten MapType-Verhalten in Pandas UDF.
• [SPARK-43361] [SC-131789][protobuf] Aktualisierung der Dokumentation für Fehler im Zusammenhang mit der Enum-Serialisierung
• [SPARK-43740] [SC-132035][python][CONNECT] Ausblenden nicht unterstützter session Methoden aus der automatischen Vervollständigung
• [SPARK-43022] [SC-131681][connect] Unterstützung von Protobuf-Funktionen für Scala-Client
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrieren NotImplementedError zu PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] Aktivieren Der Tail-Rekursion nach Möglichkeit
• [SPARK-42421] [SC-132695][core] Verwenden Sie die Utils, um den Switch für die dynamische Zuordnung abzurufen, die im lokalen Checkpoint verwendet wird.
• [SPARK-43590] [SC-132012][connect] Ermöglichen Sie connect-jvm-client-mima-check die Unterstützung der Mima-Prüfung mit dem protobuf-Modul
• [SPARK-43315] [13.x][connect][PYTHON][ss] Verbleibende Fehler von DataFrame(Reader|Writer) in Fehlerklasse verschieben
• [SPARK-43361] [SC-130980][protobuf] spark-protobuf: Serde mit Enumeration als Ints zulassen
• [SPARK-43789] [SC-132397][r] Verwendet 'spark.sql.execution.arrow.maxRecordsPerBatch' in der R-Funktion createDataFrame mit Arrow standardmäßig.
• [SPARK-43596] [SC-126994][sql] Behandle das IsNull-Prädikat in rewriteDomainJoins
• [SPARK-42249] [SC-122565][sql] Verfeinerung des HTML-Links für die Dokumentation in Fehlermeldungen.
• [SPARK-43128] [SC-131628][connect][SS] recentProgress und lastProgress konsistent mit der nativen Scala API zurückgeben machen
• [SPARK-43387] [SC-130448][sql] Stellen Sie einen lesbaren Fehlercode für _LEGACY_ERROR_TEMP_1168 bereit.
• [SPARK-43334] [SC-132358] [UI] Beheben eines Fehlers beim Serialisieren von ExecutorPeakMetricsDistributions in API-Antwort
• [SPARK-42958] [SC-131475][connect] Umstrukturierung connect-jvm-client-mima-check zur Unterstützung der Mima-Prüfung mit dem Avro-Modul
• [SPARK-43591] [SC-131977][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_0013 einen Namen zu
• [SPARK-38464] [SC-132211][core] Verwenden von Fehlerklassen in org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Verfügbarmachen von TimestampNTZType in pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Weisen Sie der Fehlerklasse Namen _LEGACY_ERROR_TEMP_240[1-3] zu.
• [SPARK-43719] [SC-132016][webui] Feld missing row.excludedInStages verarbeiten
• [SPARK-42956] [SC-127257][connect] Unterstützung von Avro-Funktionen für den Scala-Client
• [SPARK-43487] [SC-131975][sql] Fehlermeldung für geschachtelte CTEs korrigieren
• [SPARK-43265] [SC-129653] Verschieben des Fehlerframeworks in ein allgemeines utils-Modul
• [SPARK-40912] [SC-131547][core]Overhead von Ausnahmen im KryoDeserializationStream
• [SPARK-43583] [SC-131976][core] MergedBlockedMetaReqHandler von dem Delegierten anstelle der SaslRpcHandler-Instanz abrufen.
• [SPARK-42996] [SC-131997][connect][PS][ml] Erstellen und Zuweisen ordnungsgemäßer JIRA-Tickets für alle Fehlerhaften Tests.
• [SPARK-38469] [SC-131425][core] Verwenden Sie die Fehlerklasse in org.apache.spark.network
• [SPARK-43718] [SC-132014][sql] Lässt nullwerte für Schlüssel in USING-Verknüpfungen richtig fest
• [SPARK-43502] [ SC-131419][python][CONNECT] DataFrame.drop sollte leere Spalte akzeptieren
• [SPARK-43743] [SC-132038][sql] Port HIVE-12188(DoAs funktioniert in nicht Kerberos-sicheren HS2 nicht ordnungsgemäß)
• [SPARK-43598] [SC-131929][sql] Weisen Sie der Fehlerklasse _LEGACY_ERROR_TEMP_2400 einen Namen zu.
• [SPARK-43138] [SC-131031][core] Fix ClassNotFoundException während der Migration
• [SPARK-43360] [SC-131526][ss][CONNECT] Scala-Client StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Verwenden von Fehlerklassen in org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Benennen Sie die Fehlerklassen LEGACY_ERROR_TEMP[0041|1206] um.
• [SPARK-42815] [SC-126450][sql] Unterstützung für die Eliminierung von Unterausdrücken bei Verknüpfungsausdrücken
• [SPARK-38462] [SC-130449][KERN] Fehlerklasse hinzufügen INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] cannotBroadcastTableOverMaxTableBytesError beheben, um bytesToString zu verwenden
• [SPARK-43539] [SC-131830][sql] Weisen Sie der Fehlerklasse einen Namen zu_LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] InMemoryRelation-Zwischenspeicherplan klonen, um zu verhindern, dass der geklonte Plan auf dieselben Objekte verweist.
• [SPARK-43309] [SC-129746][spark-38461][CORE] Erweitern INTERNAL_ERROR mit Kategorien und Hinzufügen von Fehlerklassen INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Beheben, dass ein gleichzeitiger Schreiber keine Dateimetriken aktualisiert.
• [SPARK-43383] [SC-130660][sql] Hinzufügen von rowCount Statistiken zu LocalRelation
• [SPARK-43574] [SC-131739][python][SQL] Unterstützung zum Festlegen der ausführbaren Python-Datei für UDF- und Pandas-Funktions-APIs in Workern zur Laufzeit
• [SPARK-43569] [SC-131694][sql] Problemumgehung für HADOOP-14067 entfernen
• [SPARK-43183] [SC-128938][ss][13.x] Führt einen neuen Rückruf "onQueryIdle" in StreamingQueryListener ein
• [SPARK-43528] [SC-131531][sql][PYTHON] Unterstützen duplizierter Feldnamen in createDataFrame mit Pandas DataFrame
• [SPARK-43548] [SC-131686][ss] Problemumgehung für HADOOP-16255 entfernen
• [SPARK-43494] [SC-131272][Core] Direkt replicate() für HdfsDataOutputStreamBuilder anrufen anstelle von Reflexion in SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][core] Fehlende hadoopProperties und metricsProperties behandeln
• [SPARK-42899] [SC-126456][sql] Korrigiert DataFrame.to(schema), um den Fall zu behandeln, in dem ein nicht-nullwertiges geschachteltes Feld in einem nullfähigen Feld vorhanden ist.
• [SPARK-43302] [SC-129747][sql] Machen Sie Python UDAF zu einer Aggregatfunktion
• [SPARK-43223] [SC-131270][connect] Eingegeben agg, Reduzieren von Funktionen, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Erweitern Sie QueryTerminatedEvent, um fehlerklasse zu enthalten, wenn sie in Ausnahme vorhanden ist
• [SPARK-43359] [SC-131463][sql] Löschen aus einer Hive-Tabelle sollte "UNSUPPORTED_FEATURE.TABLE_OPERATION" auslösen.
• [SPARK-43284] [SC-130313] Zurückwechseln zu URL-codierten Zeichenfolgen
• [SPARK-43492] [SC-131227][sql] 3-Argument-Funktions-Alis hinzufügen DATE_ADD und DATE_DIFF
• [SPARK-43473] [SC-131372][python] Unterstützung des Strukturtyps bei der Erstellung eines DataFrame aus einem Pandas DataFrame
• [SPARK-43386] [SC-131110][sql] Verbesserung der Liste der vorgeschlagenen Spalten/Attribute in der UNRESOLVED_COLUMN.WITH_SUGGESTION Fehlerklasse
• [SPARK-43443] [SC-131332][sql] Benchmark für die Typinferenz von Zeitstempeln bei ungültigen Werten hinzufügen.
• [SPARK-43518] [SC-131420][sql] In INTERNAL_ERROR konvertieren _LEGACY_ERROR_TEMP_2029
• [SPARK-42604] [ SC-130648][connect] Implementierung von Funktionen.typedlit
• [SPARK-42323] [ES-669513] Rückgängig machen “[SC-123479][sql] Zuweisung eines Namens zu _LEGACY_ERROR_TEMP_2332”
• [SPARK-43357] [SC-130649][sql] Datumstyp bei Filterung mit Anführungszeichen versehen
• [SPARK-43410] [ SC-130526][sql] Verbessern der vektorisierten Schleife für gepackte SkipValues
• [SPARK-43441] [SC-130995][core] makeDotNode sollte nicht fehlschlagen, wenn DeterministicLevel nicht vorhanden ist.
• [SPARK-43324] [SC-130455][sql] Verarbeitung von Befehlen für deltabasierte Quellen
• [SPARK-43272] [SC-131168][Kern] Rufen Sie direkt createFile anstelle der Reflexion auf
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migration von Spark Connect-Sitzungsfehlern in eine Fehlerklasse
• [SPARK-43405] [SC-130987][sql] Entfernen Nutzlos getRowFormatSQL, , inputRowFormatSQLoutputRowFormatSQL Methode
• [SPARK-43447] [SC-131017][r] Unterstützung für R 4.3.0
• [SPARK-43425] [ SC-130981][sql] Hinzufügen TimestampNTZType zu ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Fügen Sie die Überprüfung auf Vorgänge hinzu, die mehrere Datenframes umfassen
• [SPARK-43262] [SC-129270][connect][SS][Python] Migration von Spark Connect Structured Streaming-Fehlern in die Fehlerklasse
• [SPARK-42992] [13.x][sc-129465][PYTHON] Stellt PySparkRuntimeError vor
• [SPARK-43422] [SC-130982][sql] Tags bei LogicalRelation mit Metadaten-Ausgabe beibehalten
• [SPARK-43390] [SC-130646][sql] DSv2 ermöglicht CTAS/RTAS, die Nullierbarkeit des Schemas zu reservieren.
• [SPARK-43430] [ SC-130989][connect][PROTO] ExecutePlanRequest unterstützt beliebige Anforderungsoptionen.
• [SPARK-43313] [SC-130254][sql] Hinzufügung fehlender Spalten-Standardwerte für MERGE-Aktionen INSERT
• [SPARK-42842] [SC-130438][sql] Zusammenführen der Fehlerklasse _LEGACY_ERROR_TEMP_2006 in REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Standardmäßig aktivieren spark.sql.thriftServer.interruptOnCancel
• [SPARK-43292] [SC-130525][core][CONNECT] Wechsle ExecutorClassLoader zu core Modul und vereinfache Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Verbesserung der Unterstützung des TimestampNTZ-Typs in der JDBC-Datenaquelle
• [SPARK-43343] [SC-130629][ss] FileStreamSource sollte beim Erstellen von DataSource eine zusätzliche Datei-Globprüfung deaktivieren.
• [SPARK-43312] [SC-130294][protobuf] Option zum Konvertieren von Feldern in JSON
• [SPARK-43404] [SC-130586][ss] Umgehen der erneuten Verwendung der sst-Datei für dieselbe Version des RocksDB-Zustandsspeichers, um einen ID-Fehlübereinstimmungsfehler zu vermeiden.
• [SPARK-43397] [SC-130614][Core] Protokolliere die Dauer der Außerbetriebnahme im Ausführungsprotokoll in der executorLost Methode
• [SPARK-42388] [SC-128568][sql] Vermeiden von doppeltem Lesen der Parquet-Fußzeilen im vektorisierten Leser
• [SPARK-43306] [13.x][sc-130320][PYTHON] Migrieren von ValueError aus Spark SQL-Typen in fehlerklasse
• [SPARK-43337] [SC-130353][ui][3.4] Asc/desc-Pfeilsymbole zum Sortieren von Spalten werden in der Tabellenspalte nicht angezeigt
• [SPARK-43279] [ SC-130351][Core] Bereinigen nicht verwendeter Elemente aus SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Ersetzen Sie die Fehlerklasse _LEGACY_ERROR_TEMP_2014 durch einen internen Fehler.
• [SPARK-43363] [SC-130299][sql][PYTHON] Den Kategorietyp nur dann aufrufen, wenn der Arrow-Typ nicht bereitgestellt wird astype.
• [SPARK-43261] [SC-130154][python] Migrieren TypeError von Spark SQL-Typen zu Fehlerklasse
• [SPARK-41971] [SC-130230][sql][PYTHON] Fügen Sie eine Konfiguration für Pandas-Konvertierung hinzu, wie Strukturtypen behandelt werden.
• [SPARK-43381] [SC-130464][connect] "transformStatCov" lazy machen
• [SPARK-43362] [SC-130481][sql] Spezielle Behandlung des JSON-Typs für MySQL-Connector
• [SPARK-42843] [SC-130196][sql] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2007 auf REGEX_GROUP_INDEX
• [SPARK-42585] [ SC-129968][connect] Streaming von lokalen Beziehungen
• [SPARK-43181] [SC-130476][sql] Ui-WebURL in spark-sql Shell anzeigen
• [SPARK-43051] [SC-130194][connect] Option zum Ausgeben von Standardwerten hinzufügen
• [SPARK-43204] [SC-129296][sql] Ausrichten von MERGE-Zuordnungen an Tabellenattributen
• [SPARK-43348] [SC-130082][python] Unterstützung für Python 3.8 in PyPy3
• [SPARK-42845] [SC-130078][sql] Aktualisieren der Fehlerklasse _LEGACY_ERROR_TEMP_2010 auf InternalError
• [SPARK-43211] [ SC-128978][hive] Entfernen der Hadoop2-Unterstützung in IsolatedClientLoader

Systemumgebung

• Betriebssystem: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Python: 3.10.12
• R: 4.2.2
• Delta Lake: 2.4.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Momentaufnahme von Microsoft CRAN vom 10.02.2023 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)