Databricks Runtime 16.2 (EoS)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 16.2, unterstützt von Apache Spark 3.5.2.

Databricks hat diese Version im Februar 2025 veröffentlicht.

Verhaltensänderungen

ANALYZE überspringt jetzt Spalten mit nicht unterstützten Typen.

ANALYZE TABLE führt nicht mehr zu einer Fehlermeldung, wenn es in einer Tabelle mit nicht unterstützten Typen ausgeführt wird, wie zum Beispiel ARRAY oder MAP. Nicht unterstützte Spalten werden jetzt automatisch übersprungen. Benutzer, die Logik implementiert haben, die diese Fehler erwartet, sollten ihren Code aktualisieren.

Bei Delta Sharing ist der Tabellenverlauf standardmäßig aktiviert.

Für Freigaben, die mit dem SQL-Befehl ALTER SHARE <share> ADD TABLE <table> erstellt werden, ist jetzt die Freigabe des Verlaufs (WITH HISTORY) standardmäßig aktiviert. Siehe ALTER SHARE.

SQL-Anweisungen für Anmeldeinformationen geben einen Fehler zurück, wenn der Typ der Anmeldeinformationen nicht übereinstimmt

Wenn der in einer SQL-Anweisung für die Anmeldeinformationsverwaltung angegebene Anmeldeinformationstyp mit dieser Version nicht mit dem Typ des Arguments für Anmeldeinformationen übereinstimmt, wird ein Fehler zurückgegeben, und die Anweisung wird nicht ausgeführt. Bei der Anweisung DROP STORAGE CREDENTIAL 'credential-name' tritt beispielsweise ein Fehler auf, wenn das credential-name-Element keine Speicheranmeldeinformationen darstellt.

Diese Änderung wird vorgenommen, um Benutzerfehler zu vermeiden. Zuvor wurden diese Anweisungen erfolgreich ausgeführt, selbst wenn ein Berechtigungsnachweis übergeben wurde, der nicht dem angegebenen Berechtigungstyp entsprach. Beispielsweise würde die folgende Anweisung storage-credentialerfolgreich löschen: DROP SERVICE CREDENTIAL storage-credential.

Diese Änderung wirkt sich auf folgende Anweisungen aus:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… AUF... BERECHTIGUNGSNACHWEIS
• REVOKE… AUF... BERECHTIGUNGSNACHWEIS
• SHOW GRANTS AUF... BERECHTIGUNGSNACHWEIS

Neue Features und Verbesserungen

• Erstellen benutzerdefinierter zustandsbehafteter Anwendungen mit transformWithState
• Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen
• Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt allgemein verfügbar
• Notizbücher werden als Arbeitsbereichsdateien unterstützt
• Verwenden von timestampdiff & timestampadd in generierten Spaltenausdrücken
• Unterstützung für sql-Pipelinesyntax
• HTTP-Anforderung mithilfe der http_request Funktion durchführen
• Aktualisierung auf DESCRIBE TABLE gibt Metadaten als strukturiertes JSON zurück
• Nachfolgende leere Nichtsensitive Sortierungen
• Konvertieren von Apache Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen
• Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus) unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatchund flatMapGroupsWithState

Erstellen Sie benutzerdefinierte, zustandsbehaftete Anwendungen mit transformWithState

Sie können jetzt transformWithState und verwandte APIs nutzen, um benutzerdefinierte zustandsbehaftete Anwendungen als Teil von Structured Streaming-Abfragen zu implementieren. Siehe Erstellen einer benutzerdefinierten zustandsbehafteten Anwendung.

Authentifizieren beim Cloudobjektspeicher mit Dienstanmeldeinformationen

Sie können jetzt Databricks-Dienstanmeldeinformationen verwenden, um sich beim Cloudobjektspeicher mit auto Loader zu authentifizieren. Siehe Konfigurieren von Datenströmen für das automatische Laden im Dateibenachrichtigungsmodus.

Unity Catalog-gesteuerter Zugriff auf externe Clouddienste mit Dienstanmeldeinformationen ist jetzt GA

Dienstanmeldeinformationen ermöglichen die einfache und sichere Authentifizierung mit den Diensten Ihres Cloudmandanten von Azure Databricks. Mit Databricks Runtime 16.2 sind Dienstanmeldeinformationen allgemein verfügbar und unterstützen jetzt Scala SDKs zusätzlich zum Python SDK, das in der public Preview unterstützt wurde. Siehe Erstellen von Dienstanmeldeinformationen.

Notizbücher werden als Arbeitsbereichsdateien unterstützt

In Databricks Runtime 16.2 und höher werden Notizbücher als Arbeitsbereichsdateien unterstützt. Sie können jetzt programmgesteuert mit Notizbüchern überall dort interagieren, wo das Arbeitsbereichsdateisystem verfügbar ist, einschließlich des Schreibens, Lesens und Löschens von Notizbüchern wie mit jeder anderen Datei. Weitere Informationen finden Sie unter Programmgesteuertes Erstellen, Aktualisieren und Löschen von Dateien und Verzeichnissen.

Verwenden Sie timestampdiff & timestampadd in generierten Spaltenausdrücken

In Databricks Runtime 16.2 und höher können Sie die timestampdiff- und timestampadd-Funktionen in generierten Spaltenausdrücken von Delta Lake verwenden. Siehe Verwenden der von Delta Lake generierten Spalten.

Unterstützung für SQL-Pipeline-Syntax

In Databricks Runtime 16.2 und höher können Sie SQL-Pipelines verfassen. Eine SQL-Pipeline strukturiert eine Standardabfrage, z. B. SELECT c2 FROM T WHERE c1 = 5, in eine Schritt-für-Schritt-Sequenz, wie im folgenden Beispiel gezeigt:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Informationen zur unterstützten Syntax für SQL-Pipelines finden Sie unter SQL-Pipelinesyntax.

Hintergrundinformationen zu dieser branchenübergreifenden Erweiterung finden Sie unter SQL Has Problems. Wir können sie beheben: Pipe-Syntax in SQL (von Google Research).

HTTP-Anforderung mithilfe der http_request-Funktion durchführen

In Databricks Runtime 16.2 und höher können Sie HTTP-Verbindungen erstellen und über sie HTTP-Anforderungen mithilfe der http_request-Funktion vornehmen.

Aktualisieren auf DESCRIBE TABLE Gibt Metadaten als strukturiertes JSON zurück.

In Databricks Runtime 16.2 und höher können Sie den DESCRIBE TABLE AS JSON Befehl verwenden, um Tabellenmetadaten als JSON-Dokument zurückzugeben. Die JSON-Ausgabe ist strukturierter als der vom Benutzer lesbare Standardbericht und kann zum programmgesteuerten Interpretieren des Schemas einer Tabelle verwendet werden. Weitere Informationen finden Sie unter DESCRIBE TABLE AS JSON.

Sortierungen ohne Beachtung nachstehender Leerzeichen

Databricks Runtime 16.2 fügt Unterstützung für kollationen hinzu, die unempfindlich gegenüber nachgestellten Leerzeichen sind, und erweitert damit die bereits in Databricks Runtime 16.1 eingeführte Sortierunterstützung. Beispielsweise behandeln diese Sortierungen 'Hello' und 'Hello ' gleich. Weitere Informationen finden Sie unter RTRIM-Sortierung.

Konvertieren von Apache Iceberg-Tabellen mit Bucketpartitionierung in nicht partitionierte Delta-Tabellen

Die CONVERT TO DELTA- und CREATE TABLE CLONE-Aussagen unterstützen jetzt die Konvertierung einer Apache Iceberg-Tabelle mit Bucket-Partitionierung in eine nicht-partitionierte Delta-Tabelle.

Standardzugriffsmodus (früher gemeinsam genutzter Zugriffsmodus) Compute unterstützt jetzt die Spark Scala-Methoden foreach, foreachBatch und flatMapGroupsWithState

In Databricks Runtime 16.2 und höher unterstützt der Standardzugriffsmodus für Compute jetzt die Scala-Methoden DataStreamWriter.foreachBatch und KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 und höher unterstützt die Standardzugriffsmodusberechnung jetzt die Scala-Methode DataStreamWriter.foreach.

Fehlerkorrekturen

Verbesserte inkrementelle Klonverarbeitung

Diese Version enthält einen Fix für einen Randfall, bei dem ein inkrementelles CLONE möglicherweise Dateien, die bereits aus einer Quelltabelle kopiert wurden, in eine Zieltabelle erneut kopieren kann. Siehe Klonen einer Tabelle in Azure Databricks.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
• Aktualisierte R-Bibliotheken:
• Aktualisierte Java-Bibliotheken:
  • org.json4s.json4s-ast_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-core_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-jackson_2.12 von 3.7.0-M11 bis 4.0.7
  • org.json4s.json4s-scalap_2.12 von 3.7.0-M11 bis 4.0.7

Apache Spark

Databricks Runtime 16.2 umfasst Apache Spark 3.5.2. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 16.1 (EoS) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-49966] Rückgängig machen von "[SC-179501][sql] Verwendung Invoke zur Implementierung JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Korrektur der Abfrageausführung des Sortierungsausdrucks Walker
• [SPARK-49666] [SQL] Aktivieren von Kürzungstests für inSet-Ausdruck
• [SPARK-50669] [SC-184566][es-1327450][SQL] Ändern der Signatur des TimestampAdd-Ausdrucks
• [SPARK-50795] [16.x][sc-186719][SQL] Zeitstempel als long Typ in describe LinkedHashMap speichern
• [SPARK-50870] [SC-186950][sql] Fügen Sie die Zeitzone beim Konvertieren in den Timestamp in V2ScanRelationPushDown hinzu.
• [SPARK-50735] [SC-186944][connect] Fehler in ExecuteResponseObserver führt zu unendlichen Reattachingsanforderungen.
• [SPARK-50522] [SC-186500][sql] Unterstützung für unbestimmte Sortierung
• [SPARK-50525] [SC-186058][sql] Definieren der InsertMapSortInRepartitionExpressions Optimierungsregel
• [SPARK-50679] [SC-184572][sql] Duplizierte gemeinsame Ausdrücke in unterschiedlichen WITH-Klauseln sollten nur einmal abgebildet werden.
• [SPARK-50847] [SC-186916] [SQL] Verhindern Sie die Anwendung von ApplyCharTypePadding auf bestimmte In-Ausdrücke
• [SPARK-50714] [SC-186786][sql][SS] Aktivieren der Schemaentwicklung für TransformWithState bei Verwendung der Avro-Codierung
• [SPARK-50795] [SC-186390][sql] Alle Datumsangaben in 'DESCRIBE AS JSON' im ISO-8601-Format und Datentypen darstellen als dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Verbessern der Typumwandlungs- und Grenzüberprüfung für die UNIFORM-SQL-Funktion
• [SPARK-50700] [ SC-184845][sql] spark.sql.catalog.spark_catalog unterstützt builtin magischen Wert
• [SPARK-50831] [SC-186736][sql] Standardmäßiges Kürzen der Sortierung aktivieren
• [SPARK-50263] [SC-186793][connect] Ersetzen System.currentTimeMillis durch System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementieren von CreateSQLFunctionCommand für SQL Scalar- und Tabellenfunktionen
• [SPARK-50830] [SC-186718] [SQL] Zurückgeben eines Einzeldurchlaufergebnisses als Ergebnis der Dual-Run-Analyse
• [SPARK-50707] [SC-186098][sql] Konvertierung in/von char/varchar aktivieren
• [SPARK-49490] [ SC-182137][sql] Fügen Sie Benchmarks für initCap hinzu
• [SPARK-50529] [SC-184535][sql] Ändern des char/varchar-Verhaltens in der spark.sql.preserveCharVarcharTypeInfo Konfiguration
• [SPARK-49632] [SC-184179][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Behebung eines Fehlers, bei dem das Übergeben von NULL-Varianten in createDataFrame bewirkt, dass dies fehlschlägt und die Variant-Unterstützung in createDataFrame in Spark Connect hinzufügt.
• [SPARK-50828] [SC-186493][python][ML][connect] Wird abgewertet pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Set für Analysefehler analysiert
• [SPARK-50824] [ SC-186472][python] Vermeiden Sie das Importieren optionaler Python-Pakete zur Überprüfung
• [SPARK-50755] [SC-185521][sql] Hübsche Plananzeige für InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Die Eingaben für eingegebene Aggregationen sollten analysiert werden.
• [SPARK-50791] [SC-185867][sc-186338][SQL] Beheben von NPE im State Store Fehlerbehandlungsproblemen
• [SPARK-50801] [SC-186365] [SQL] Verbessern PlanLogger.logPlanResolution , sodass es nur ungelöste und aufgelöste Pläne anzeigt
• [SPARK-50749] [SC-185925][sql] Beheben des Sortierfehlers in der CommutativeExpression.gatherCommutative-Methode
• [SPARK-50783] [ SC-186347] Vereinheitlichen der JVM-Profilergebnis-Dateinamen und -Gestaltung auf DFS
• [SPARK-50790] [SC-186354][python] Implementieren von parse json in pyspark
• [SPARK-50738] [ SC-184856][python] Upgrade schwarz auf 23.12.1
• [SPARK-50764] [ SC-185930][python] Verfeinern der Docstring von xpath-verwandten Methoden
• [SPARK-50798] [ SC-186277][sql] Verbessern NormalizePlan
• [SPARK-49883] [SC-183787][ss] State Store Checkpoint Structure V2 Integration mit RocksDB und RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Hinzufügen eines Featurekennzeichnungs für Sortierungen auf Objektebene
• [SPARK-50778] [SC-186183][python] Hinzufügen von metadataColumn zu PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Verbessern automatisch generierter Ausdrucksaliasen mit SQL-Pipeoperatoren
• [SPARK-50541] [16.x][sc-184937] Tabelle als JSON beschreiben
• [SPARK-50772] [SC-185923][sql] Databricks Runtime 16.x Cherrypick: Beibehalten von Tabellenaliasen nach SET, EXTEND, DROP-Operatoren
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Synchronisiere Delta-Code-Unterschiede mit Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Einführen von Konfigurationen für die Optimierung von Python-UDF ohne Pfeil
• [SPARK-50705] [SC-185944][sql] Sperrfrei machen QueryPlan
• [SPARK-50690] [16.x][sc-184640][SQL] Diskrepanzen bei der Anführungszeichenverwendung in Ansichtsabfrageausgabespalten beheben
• [SPARK-50746] [SC-184932][sql] Ersetzen Sie Either durch VariantPathSegment.
• [SPARK-50715] [ SC-185546][python][CONNECT] SparkSession.Builder legt die Konfigurationen im Batch fest.
• [SPARK-50480] [SC-183359][sql] Erweiterung von CharType und VarcharType aus StringType
• [SPARK-50675] [ SC-184539][sql] Unterstützung von Tabellen- und Ansichtsebenen-Kollationen
• [SPARK-50409] [ SC-184516][sql] Fix set statement to ignore ; at the end of SET;, SET -v; and SET key;
• [SPARK-50743] [SC-185528][sql] Normalize CTERelationDef und CTERelationRef IDs
• [SPARK-50693] [ SC-184684][connect] Die Eingaben für TypedScalaUdf sollten analysiert werden.
• [SPARK-50744] [SC-184929][sql] Fügen Sie einen Testfall für die Ansichts-/CTE-Namensauflösungsrangfolge hinzu.
• [SPARK-50710] [SC-184767][connect] Unterstützung für optionale Client-Wiederverbindung zu Sitzungen nach Freigabe hinzufügen
• [SPARK-50703][ SC-184843][python] Verfeinerung des docstrings von regexp_replace, regexp_substr und regexp_instr
• [SPARK-50716] [SC-184823][Kern] Behebung der Bereinigungslogik für symbolische Verknüpfungen in der JavaUtils.deleteRecursivelyUsingJavaIO-Methode
• [SPARK-50630] [SC-184443][sql] Fehlerbehebung bei der Ordnungsunterstützung für Pipe-SQL-AGGREGAT-Operatoren.
• [SPARK-50614] [SC-184729][sql] Hinzufügen von Variant-Zerlegungsunterstützung für Parquet
• [SPARK-50661] [SASP-4936] Hinzufügen der Abwärtskompatibilität für alte Client-FEB.
• [SPARK-50676] [SC-184641][sql] Entfernen ungenutztes private lazy val mapValueContainsNull aus ElementAt
• [SPARK-50515] [SC-183813][core] Hinzufügen einer schreibgeschützten Schnittstelle zu SparkConf
• [SPARK-50697] [ SC-184702][sql] Aktivieren der Tail-Rekursion nach Möglichkeit
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x]Beheben des Statusschemas für FlatMapGroupsWithState in Spark Connect, wenn kein Anfangszustand vorhanden ist
• [SPARK-50701] [ SC-184704][python] Festlegen, dass Plotten die minimale Plotly-Version erfordert
• [SPARK-50702] [SC-184727][python] Verfeinere den Docstring von regexp_count, regexp_extract und regexp_extract_all
• [SPARK-50499] [SC-184177][python] Verfügbarmachen von Metriken von BasePythonRunner
• [SPARK-50692] [ SC-184705][16.x] Hinzufügen der RPAD-Pushdownunterstützung
• [SPARK-50682] [SC-184579][sql] Innerer Alias sollte kanonisiert werden.
• [SPARK-50699] [ SC-184695][python] Analysieren und Generieren einer DDL-Zeichenfolge mit einer angegebenen Sitzung
• [SPARK-50573] [SC-184568][ss] Hinzufügen der Statusschema-ID zu Statuszeilen zur Schema-Evolution
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Behebung der Spark Connect Scala foreachBatch-Implementierung. zur Unterstützung von Dataset[T].
• [SPARK-50689] [SC-184591][sql] Deterministische Sortierung in LCA-Projektlisten erzwingen
• [SPARK-50696] [SC-184667][python] Optimieren des Py4J-Aufrufs für die DDL-Analysemethode
• [SPARK-49670] [SC-182902][sql] Aktivieren der Kürzungssortierung für alle Passthroughausdrücke
• [SPARK-50673] [SC-184565][ml] Vermeiden Sie das Durchlaufen von Modellkoeffizienten zweimal im Word2VecModel Konstruktor.
• [SPARK-50687] [SC-184588][python] Optimieren der Logik zum Abrufen von Stack-Traces für DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Zwischenspeichern des analysierten Schemas für MapInXXX und ApplyInXXX
• [SPARK-50674] [SC-184589][python] Fixüberprüfung auf das Vorhandensein der "terminate"-Methode in der UDTF-Auswertung
• [SPARK-50684] [SC-184582][python] Verbessern der Py4J-Leistung in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Fügen Sie Unterstützung für neue Versionen von Statusmetadaten für TransformWithStateInPandas hinzu.
• [SPARK-50602] [SC-184439][sql] Fixtransponierung, um eine ordnungsgemäße Fehlermeldung anzuzeigen, wenn ungültige Indexspalten angegeben werden
• [SPARK-50650] [ SC-184532][sql] Verbesserung der Protokollierung im Single-Pass-Analyzer
• [SPARK-50665] [SC-184533][sql] Ersetzen von LocalRelation durch ComparableLocalRelation in NormalizePlan
• [SPARK-50644] [SC-184486][sql] Varianten-Struktur im Parquet-Leser lesen.
• [SPARK-49636] [SC-184089][sql] Entfernen Sie den ANSI-Konfigurationsvorschlag in INVALID_ARRAY_INDEX und INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Ausgabeberechnung für Union umstrukturieren, damit sie im Einzelpass-Analyzer wiederverwendet werden kann.
• [SPARK-50659] [SC-184512][sql] Fehler im Zusammenhang mit Union zu QueryCompilationErrors verschieben
• [SPARK-50530] [SC-183419][sql] Behebung der fehlerhaften Berechnung des impliziten Zeichenfolgentyps.
• [SPARK-50546] [SC-183807][sql] Hinzufügen der Unterstützung von Unterabfragen zur Koersion des Sortiertyps
• [SPARK-50405] [SC-182889][sql] Korrekte Behandlung der Sortierungstypkoerzierung bei komplexen Datentypen
• [SPARK-50637] [SC-184434][sql] Code-Stil für den Single-Pass-Analyzer beheben
• [SPARK-50638] [SC-184435][sql] Umgestalten Sie die Ansichtsauflösung in die separate Datei, um sie im Single Pass Analyzer wiederzuverwenden.
• [SPARK-50615] [SC-184298][sql] Push-Variante in Scan.
• [SPARK-50619] [SC-184210][sql] Refactor von VariantGet.cast zur Zusammenfassung der Cast-Argumente
• [SPARK-50599] [SC-184058][sql] Erstellen Sie die DataEncoder-Eigenschaft, die Avro- und UnsafeRow-Codierung ermöglicht
• [SPARK-50076] [ SC-183809] Beheben von Protokollschlüsseln
• [SPARK-50597] [SC-183972][sql] Refaktorierung der Batcherstellung in Optimizer.scala und SparkOptimizer.scala
• [SPARK-50339] [ SC-183063][spark-50360][SS] Aktivieren des Änderungsprotokolls zum Speichern von Abstammungsinformationen
• [SPARK-50526] [SC-183811][ss] Hinzufügen des Codierungsformats des Speichers in das Offset-Log und Blockieren von nicht unterstützten zustandsbehafteten Operatoren bei der Verwendung von avro.
• [SPARK-50540] [SC-183810][python][SS] Fixzeichenfolgenschema für StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Verwenden von SQLConf, das von SparkSession zuerst bereitgestellt wird.
• [SPARK-48898] [SC-183793][sql] Legen Sie die Nullierbarkeit im Variant-Schema richtig fest.
• [SPARK-50559] [SC-183814][sql] Speichere die Ausgaben von Except, Intersect und Union als lazy vals
• Unterstützung verschachtelter korrelierter With-Ausdrücke
• [SPARK-50428] [SC-183566][ss][PYTHON] Unterstützen TransformWithStateInPandas in Batchabfragen
• [SPARK-50063] [SC-183350][sql][CONNECT] Hinzufügen von Unterstützung für Variant im Spark Connect Scala-Client
• [SPARK-50544] [ SC-183569][python][CONNECT] Implementieren StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Beheben von Maven-Buildfehlern, die von Guava-Cache in RocksDBStateStoreProvider eingeführt wurden
• [SPARK-50491] [SC-183434][sql] Fehler beheben, bei dem leere BEGIN-END-Blöcke einen Fehler auslösen
• [SPARK-50536] [SC-183443][core] Archivdateigrößen in SparkContext und Executor protokollieren
• [SPARK-45891] [SC-183439][sql] Variant-Binärdatei aus geschredderten Daten neu erstellen.
• [SPARK-49565] [SC-183465][sql] Hinzufügen der SQL-Pipesyntax für den FROM-Operator
• [SPARK-50497] [SC-183338][sql] Abfragen mit einer eindeutigen Meldung fehlschlagen lassen, wenn MultiAlias eine Nicht-Generator-Funktion enthält
• [SPARK-50460] [SC-183375][python][CONNECT] Verallgemeinern und Vereinfachen der Ausnahmebehandlung von Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Fixkomprimierungsoption, die überschrieben wird df.write.parquet
• [SPARK-50329] [SC-183358][sql] Korrektur von InSet$toString
• [SPARK-50524] [SC-183364][sql] Warnmeldung auf Debug-Ebene herabsetzen
• [SPARK-50528] [ SC-183385][connect] Wechseln InvalidCommandInput zum gemeinsamen Modul
• [SPARK-50017] [ SC-182438][ss] Unterstützung der Avro-Codierung für den Operator TransformWithState
• [SPARK-50463] [SC-182833][sql] Korrektur bei der Umwandlung von Spaltenar zu Zeilen
• [SPARK-50235] [SC-180786][sql] Aufräumen der ColumnVector-Ressource nach der Verarbeitung aller Zeilen in ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Test zum Beseitigen des init-Zustands-bezogenen Problems zur Verwendung von StreamManualClock.
• [SPARK-50478] [ SC-183188][sql] Korrektur der StringType-Übereinstimmung
• [SPARK-50492] [SC-183177][ss] Fix java.util.NoSuchElementException, wenn die Ereigniszeitspalte nach dropDuplicatesWithinWatermark gelöscht wird
• [SPARK-49566] [ SC-182589][sql] Hinzufügen einer SQL-Pipesyntax für den SET Operator
• [SPARK-50449] [SC-183178][sql] Korrigieren der SQL-Skripting-Grammatik, die leere Textkörper für Schleifen, WENN und CASE zulässt
• [SPARK-50251] [SC-180970][python] Zu PySpark hinzufügen getSystemPropertySparkContext
• [SPARK-50421] [SC-183091][core] Korrektur der speicherbezogenen Konfiguration für Executor, wenn mehrere Ressourcenprofile aktiv sind
• [SPARK-49461] [ SC-179572][ss] Persistente Checkpoint-ID zum Commitment von Logs und deren Rücklesen
• [SPARK-50343] [SC-183119][spark-50344][SQL] Hinzufügen der SQL-Pipesyntax für die DROP- und AS-Operatoren
• [SPARK-50481] [SC-182880][core] Verbesserung von SortShuffleManager.unregisterShuffle, um die Logik der Prüfsummendatei zu überspringen, wenn die Prüfsumme deaktiviert ist
• [SPARK-50498] [ SC-183090][python] Vermeiden Sie unnötige Py4j-Aufrufe in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Selbst-Join nach applyInArrow beheben
• [SPARK-49695] [SC-182967][sc-176968][SQL] Postgres-Fehlerbehebung XOR-Pushdown

Databricks ODBC/JDBC-Treiberunterstützung

Databricks unterstützt die in den letzten 2 Jahren veröffentlichten ODBC/JDBC-Treiber. Laden Sie die kürzlich veröffentlichten Treiber herunter (ODBC herunterladen, JDBC herunterladen).

Wartungsupdates

Siehe Databricks Runtime 16.2 Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 24.04.1 LTS
  • Hinweis: Dies ist die Ubuntu-Version, die von den Databricks-Runtime-Containern verwendet wird. Die Databricks-Runtime-Container werden auf den virtuellen Computern des Cloudanbieters ausgeführt, die möglicherweise eine andere Ubuntu-Version oder Linux-Verteilung verwenden.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• Python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der CRAN-Momentaufnahme vom 04.08.2024 des Posit Package Managers installiert: https://packagemanager.posit.co/cran/2024-08-04/.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)