Databricks Runtime 10.1 (EoL)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.1 und Databricks Runtime 10.1 Photon, unterstützt von Apache Spark 3.2.0. Diese Version wurde von Databricks im November 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

• Neue Delta-Tabelleneinstellungen zum Komprimieren kleiner Dateien
• Neue Zeilengruppenmetriken für Parquet-Abfragescans
• Trigger.AvailableNow für Delta-Quell-Streamingabfragen
• Trigger.AvailableNow für Automatischer Lader
• Delta-Unterstützung für Hadoop-Dateisystemkonfigurationen, die über DataFrame-Optionen übergeben werden
• Asynchrone Zustandsprüfpunkte werden jetzt in zustandsbehafteten Streamingaufträgen unterstützt (Öffentliche Vorschau)
• Sparklyr mit Passthrough für Anmeldung
• Präzisionssteuerung für die Datenzusammenfassung in Databricks-Hilfsprogrammen (Öffentliche Vorschau)
• Azure Databricks Notebooks jetzt mit dem IPython-Kernel kompatibel
• Neue Funktionen in Spark SQL

Neue Delta-Tabelleneinstellungen zum Komprimieren kleiner Dateien

Die Delta-Tabelleneigenschaft delta.autoOptimize.autoCompact akzeptiert jetzt die neuen Werte auto und legacy zusätzlich zu den vorhandenen Werten true und false. Wenn die Eigenschaft auf auto festgelegt wird (empfohlen), verwendet die automatische Komprimierung besser geeignete Standardwerte, zum Beispiel 32 MB als Zieldateigröße. Zukünftige Änderungen am Standardverhalten sind jedoch vorbehalten. Wenn die Eigenschaft auf legacy oder true festgelegt wird, verwendet Auto Compaction 128 MB als Zieldateigröße.

Anstatt diese Eigenschaft für eine einzelne Tabelle festzulegen, können Sie die spark.databricks.delta.autoCompact.enabled-Konfiguration auf auto, legacy oder true festlegen, um die automatische Komprimierung für alle Delta-Tabellen zu aktivieren. Diese Konfiguration hat während der aktuellen Sitzung Vorrang vor der Eigenschaft der verwandten Tabelle.

Die Zieldateigröße für die automatische Komprimierung kann mit der spark.databricks.delta.autoCompact.maxFileSize-Konfiguration gesteuert werden.

Weitere Informationen zur automatischen Komprimierung finden Sie unter AutoKomprimierung.

Neue Zeilengruppenmetriken für Parquet-Abfragescans

Abfragen mit Parquet-Scans zeigen nun Zeilengruppenmetriken auf der Spark-Benutzeroberfläche an. Diese Zeilengruppenmetriken lauten:

• Gesamtanzahl der Parquet-Zeilengruppen
• Anzahl gelesener Parquet-Zeilengruppen

Trigger.AvailableNow für Delta-Quellstreamingabfragen

Durch diese Änderung wird ein neuer Triggertyp für Delta-Quellstreamingabfragen in Scala unterstützt: Trigger.AvailableNow. Dieser ähnelt Trigger.Once, der alle verfügbaren Daten verarbeitet und die Abfrage dann beendet. Trigger.AvailableNow bietet jedoch eine bessere Skalierbarkeit, da Daten in mehreren Batches statt nur in einem verarbeitet werden können. Für diese Änderung wird keine neue Schnittstelle eingeführt, sondern eine vorhandene Spark-API implementiert. Dieser Trigger unterstützt auch alle Ratenbegrenzungsoptionen, die bereits von Delta als Quelle unterstützt werden.

Beispiel:

spark.readStream
  .format("delta")
  .option("maxFilesPerTrigger", "1")
  .load(inputDir)
  .writeStream
  .trigger(Trigger.AvailableNow)
  .option("checkpointLocation", checkpointDir)
  .start()

Details zu Trigger.AvailableNow finden Sie unter Was ist Auto Loader?.

Trigger.AvailableNow für Auto-Loader

Trigger.AvailableNow ist ein neuer Streamingtriggermodus, der Trigger.Once ähnelt. Trigger.Once verarbeitet alle verfügbaren Daten und beendet dann die Abfrage. Trigger.AvailableNow bietet eine bessere Skalierbarkeit, da Daten in mehreren Batches statt nur in einem verarbeitet werden können. Auto Loader unterstützt jetzt Trigger.AvailableNow sowohl im Verzeichnislistenmodus als auch im Dateibenachrichtigungsmodus für Scala. Details zu Trigger.AvailableNow finden Sie unter Was ist Auto Loader?.

Delta-Unterstützung für Hadoop-Dateisystemkonfigurationen, die über DataFrame-Optionen übergeben werden

Ähnlich wie Parquet unterstützt Delta jetzt das Lesen von Hadoop-Dateisystemkonfigurationen aus DataFrameReader- und DataFrameWriter-Optionen, wenn die Tabelle mithilfe von DataFrameReader.load(path) oder DataFrameWriter.save(path) gelesen oder geschrieben wird. Siehe Konfigurieren von Delta-Speicheranmeldeinformationen.

Asynchrone Zustandsprüfpunkte werden jetzt in zustandsbehafteten Streamingaufträgen unterstützt (Public Preview)

Asynchrone Zustandsprüfpunkte sind ein neues Feature, das potenziell die End-to-End-Microbatchlatenz bei zustandsbehafteten Streamingaufträgen mit großen Zustandsupdates reduziert. Weitere Informationen finden Sie unter Asynchrone Zustandsprüfpunkte für zustandsbehaftete Abfragen.

Sparklyr mit Durchleitung für Anmeldeinformationen

Sie können jetzt die sparklyr APIs verwenden, um Daten durch Credential Passthrough aus dem Cloudspeicher zu lesen und in diesen zu schreiben. Diese Funktionalität ist auf Standardcluster mit Einzelbenutzerzugriff beschränkt. Siehe Zugriff auf Azure Data Lake Storage mithilfe von Passthrough für Microsoft Entra ID-Anmeldeinformationen (Legacy)

Genauigkeitssteuerung in Databricks-Hilfsprogrammen mit data.summarize (Public Preview)

Ein neuer precise-Parameter für dbutils.data.summarize steuert die Genauigkeit von Zusammenfassungsergebnissen. Wenn precise auf „false“ (Standardwert) festgelegt ist, gibt die Zusammenfassung ungefähre Ergebnisse für eindeutige Werte, das Perzentil und die Werte häufiger Einträge zurück. Wenn precise auf „true“ festgelegt ist, werden Zusammenfassungen jetzt mit exakten eindeutigen Werten und exakten Werten häufiger Einträge berechnet, und Perzentile werden genauer geschätzt. Weitere Informationen finden Sie unter summarize-Befehl (dbutils.data.summarize).

Azure Databricks Notebooks jetzt mit dem IPython-Kernel kompatibel

Sie können einen Azure Databricks-Cluster jetzt dafür konfigurieren, den IPython-Kernel zum Ausführen von Python-Code zu verwenden. Die Verwendung des IPython-Kernels in Azure Databricks bietet Unterstützung für die Anzeige- und Ausgabetools von IPython. Darüber hinaus erfasst der IPython-Kernel die Stdout- und Stderr-Ausgaben von untergeordneten Prozessen, die von einem Notizbuch erstellt wurden, sodass diese Ausgabe in die Befehlsergebnisse des Notizbuchs aufgenommen werden kann.

Weitere Informationen finden Sie unter IPython-Kernel.

Neue Funktionen in Spark SQL

Die folgenden Objekte und Befehle wurden für die Arbeit mit Daten im Unity-Katalog (Vorschauversion) hinzugefügt:

• Externe Speicherorte
• ALTER CATALOG
• ALTER CREDENTIAL
• ÄNDERN DES SPEICHERORTS
• CREATE CATALOG
• SPEICHERORT ERSTELLEN
• CREATE RECIPIENT
• DESCRIBE CATALOG
• DESCRIBE CREDENTIAL
• ORT BESCHREIBEN
• DROP CATALOG
• DROP CREDENTIAL
• ABGABESTELLE
• LIST
• SHOW CATALOGS
• SHOW CREDENTIALS
• ORTE ANZEIGEN
• USE CATALOG

Die folgenden Befehle wurden für Delta Sharing (Vorschauversion) hinzugefügt, damit Sie schreibgeschützte Daten für Empfänger*innen außerhalb Ihrer Organisation freigeben können:

• Teilen
• ALTER SHARE
• CREATE SHARE
• DESCRIBE RECIPIENT
• DESCRIBE SHARE
• DROP RECIPIENT
• DROP SHARE
• GRANT-FREIGABE
• REVOKE-FREIGABE
• SHOW ALL IN SHARE
• SHOW RECIPIENTS
• SHOW SHARES
• SHOW GRANTS ON SHARE
• SHOW GRANTS TO RECIPIENT

Fehlerbehebungen

• Ein Race-Condition-Problem wurde behoben, das zu einem Abfragefehler mit einem Beispiel wie IOException oder No FileSystem for scheme führen könnte oder bewirken könnte, dass Änderungen an sparkContext.hadoopConfiguration in Abfragen keine Wirkung zeigen.

Bibliotheksaktualisierungen

• Aktualisierte Python-Bibliotheken:
  • filelock von 3.0.12 auf 3.3.1
  • Aktualisierung von koalas von 1.8.1 auf 1.8.2
  • plotly von 5.1.0 auf 5.3.0
• Aktualisierte R-Bibliotheken:
  • bslib von 0.3.0 auf 0.3.1
  • caret von 6.0-88 auf 6.0-90
  • cpp11 von 0.3.1 auf 0.4.0
  • data.table von 1.14.0 auf 1.14.2
  • desc von 1.3.0 auf 1.4.0
  • diffobj von 0.3.4 auf 0.3.5
  • Aktualisierung von 0.6.27 auf 0.6.28
  • generics von 0.1.0 auf 0.1.1
  • hms von 1.1.0 auf 1.1.1
  • knitr von 1.34 auf 1.36
  • lattice von 0.20-44 auf 0.20-45
  • Lebenszyklus von 1.0.0 auf 1.0.1
  • lubridate von 1.7.10 auf 1.8.0
  • mgcv von 1.8-37 auf 1.8-38
  • mime von 0.11 auf 0.12
  • pkgload von 1.2.2 auf 1.2.3
  • progressr von Version 0.8.0 auf 0.9.0
  • rcmdcheck von 1.3.3 auf 1.4.0
  • readr von 2.0.1 auf 2.0.2
  • Rezepte von 0.1.16 auf 0.1.17
  • remotes von 2.4.0 auf 2.4.1
  • rlang von 0.4.11 auf 0.4.12
  • rvest von 1.0.1 auf 1.0.2
  • shiny von 1.6.0 auf 1.7.1
  • stringi von 1.7.4 auf 1.7.5
  • testthat von 3.0.4 auf 3.1.0
  • tidyr von 1.1.3 auf 1.1.4
  • tinytex von 0.33 auf 0.34
  • usethis von Version 2.0.1 auf Version 2.1.2
  • xfun von 0.26 auf 0.27
• Aktualisierte Java-Bibliotheken:
  • com.zaxxer.HikariCP von 3.1.0 auf 4.0.3

Apache Spark

Databricks Runtime 10.1 enthält Apache Spark 3.2.0. Diese Version enthält alle Spark-Fixes und Verbesserungen, die in Databricks Runtime 10.0 (EoL) enthalten sind, sowie die folgenden zusätzlichen Fehlerbehebungen und Verbesserungen, die an Spark vorgenommen wurden:

• [SPARK-37037] [SQL] Sortierung von Bytearrays durch Vereinheitlichen der compareTo-Funktion von UTF8String und ByteArray verbessern
• [SPARK-37091] [R] Systemanforderungen, um Java < 18 zu berücksichtigen
• [SPARK-37041] [SQL] Backport von HIVE-15025: Unterstützung von Secure Sockets Layer (SSL) für HMS
• [SPARK-37098] [SQL] ALTER TABLE-Eigenschaften sollten den Cache ungültig machen
• [SPARK-36992] [SQL] Leistung der Sortierung von Bytearrays durch Vereinheitlichen der getPrefix-Funktion von UTF8String und ByteArray verbessern
• [SPARK-37047] [SQL] lpad- und rpad-Funktionen für Binärzeichenfolgen hinzufügen
• [SPARK-37076] [SQL] StructType.toString explizit für Scala 2.13 implementieren
• [SPARK-37075] [SQL] Kompilierung von UDAF-Ausdrücken von sql/catalyst zu sql/core verschieben
• [SPARK-37084] [SQL] spark.sql.files.openCostInBytes auf bytesConf festlegen
• [SPARK-37088] [PYSPARK][sql] Writer-Thread darf nicht auf Eingaben zugreifen, nachdem der Listener für den Abschluss der Aufgabe ausgelöst wurde.
• [SPARK-37069] [SQL] Ordnungsgemäßer Rückgriff, wenn Hive.getWithoutRegisterFns nicht verfügbar ist
• [SPARK-37050] [PYTHON] Conda-Installationsanweisungen aktualisieren
• [SPARK-37067] [SQL] ZoneId.of() zur Verarbeitung von timezone-Zeichenfolgen in DatetimeUtils verwenden
• [SPARK-35925] [SQL] DayTimeIntervalType in der width-bucket-Funktion unterstützen
• [SPARK-35926] [SQL] Unterstützung für YearMonthIntervalType bei width_bucket hinzufügen
• [SPARK-35973] [SQL] Befehl SHOW CATALOGS hinzufügen
• [SPARK-36922] [SQL] Die Funktionen SIGN und SIGNUM sollten ANSI-Intervalle unterstützen
• [SPARK-37078] [CORE] Ältere Senkenkonstruktoren mit drei Parametern unterstützen
• [SPARK-37061] [SQL] Problem mit CustomMetrics bei Verwendung innerer Klassen beheben
• [SPARK-35918] [AVRO] Umgang mit Schemakonflikten bei Lese- und Schreibvorgängen vereinheitlichen und Fehlermeldungen verbessern
• [SPARK-36871] [SQL] CreateViewStatement zum v2-Befehl migrieren
• [SPARK-36898] [SQL] Shufflefaktor für Hashjoins sollte konfigurierbar sein
• [SPARK-36921] [SQL] ANSI-Intervalle in DIV unterstützen
• [SPARK-36794] [SQL] Doppelte Joinschlüssel beim Erstellen einer Beziehung für gemischte SEMI-/ANTI-Hashjoins ignorieren
• [SPARK-36867] [SQL] Fehlermeldung mit GROUP BY Alias beheben
• [SPARK-36914] [SQL] dropIndex und listIndexes in JDBC implementieren (MySQL-Dialekt)
• [SPARK-35531] [SQL] HiveTable beim Aufruf von getPartitions direkt an HiveClient übergeben, um eine unnötige Konvertierung von HiveTable in CatalogTable und zurück in HiveTable zu vermeiden.
• [SPARK-36718] [ SQL] Nur Projekte reduzieren, wenn wir keine kostspieligen Ausdrücke duplizieren
• [SPARK-37046] [SQL]: ALTER VIEW behält nicht die Groß-/Kleinschreibung der Spaltennamen bei
• [SPARK-36978] [SQL] Die InferConstraints-Regel sollte IsNotNull-Einschränkungen für das aufgerufene geschachtelte Feld erstellen, nicht für den geschachtelten Stammtyp
• [SPARK-37052] [CORE] Spark sollte das Argument --verbose nur an die Hauptklasse übergeben, wenn es sich um die SQL-Shell handelt.
• [SPARK-37017] [SQL] Synchronisierungsbereich reduzieren, um potenzielle Deadlocks zu verhindern
• [SPARK-37032] [SQL] Fehlerhaften Link für SQL-Syntax auf der SQL-Referenzseite korrigieren
• [SPARK-36905] [SQL] Problem beim Lesen von Hive-Ansichten ohne explizite Spaltennamen korrigieren
• [SPARK-36678]SHOW TABLES standardmäßig auf den V2-Befehl umstellen
• [SPARK-36943] [SQL] Lesbarkeit der Fehlermeldung für fehlende Spalten verbessern
• [SPARK-36980] [SQL] INSERT-Unterstützungsabfrage mit CTE
• [SPARK-37001] [SQL] Zweite Zuordnungsebene für endgültige Hashaggregation standardmäßig deaktivieren
• [SPARK-36970] [SQL] Format B der date_format-Funktion manuell deaktivieren, damit Java 17 mit Java 8 kompatibel ist
• [SPARK-36546] [SQL] Arrayunterstützung zur Union nach Namen hinzufügen
• [SPARK-36979] [SQL] RewriteLateralSubquery-Regel zu nonExcludableRules hinzufügen
• [SPARK-36949] [SQL] Hive-Anbietertabellen mit ANSI-Intervallen nicht erlauben
• [SPARK-36849] [SQL] UseStatement zum v2-Befehlsframework migrieren
• [SPARK-36868] [SQL] CreateFunctionStatement zum v2-Befehlsframework migrieren
• [SPARK-36841] [SQL] ANSI-Syntax set catalog xxx zum Ändern des aktuellen Katalogs hinzufügen
• [SPARK-36821] [SQL] Nachtrag: ColumnarBatch-Klasse sollte erweiterbar sein
• [SPARK-36963] [SQL] max_by/min_by zu sql.functions hinzufügen
• [SPARK-36913] [SQL] createIndex und IndexExists in DS V2 JDBC implementieren (MySQL-Dialekt)
• [SPARK-36848] [SQL] ShowCurrentNamespaceStatement zum v2-Befehlsframework migrieren
• [SPARK-36526] [SQL] DSV2-Indexunterstützung: supportsIndex-Schnittstelle hinzufügen
• [SPARK-36960] [SQL] Filter mit ANSI-Intervallwerten an ORC pushen
• [SPARK-36929] [SQL] Nicht verwendete Methode EliminateSubqueryAliasesSuite#assertEquivalent entfernen
• [SPARK-36931] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in ORC-Datenquellen unterstützen
• [SPARK-34980] [SQL] Durch Union zusammengefügte Partitionen in AQE unterstützen
• [SPARK-36809] [SQL] Entfernen des Broadcasts für InSubqueryExec, das in DPP verwendet wird
• [SPARK-36813] [SQL][python] Vorschlag einer Infrastruktur für as-of-Join und Implementierung von ps.merge_asof
• [SPARK-36918] [SQL] Typen beim Vergleichen von Strukturen für unionByName ignorieren
• [SPARK-36891] [SQL] SpecificParquetRecordReaderBase umgestalten und zusätzliche Abdeckung für vektorisierte Parquet-Decodierung hinzufügen
• [SPARK-36920] [SQL] ANSI-Intervalle in ABS() unterstützen
• [SPARK-36888] [SQL] Testfälle für sha2-Funktion hinzufügen
• [SPARK-36889] [SQL] Berücksichtigung des spark.sql.parquet.filterPushdown durch den v2 Parquet-Scan-Generator
• [SPARK-36830] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in JSON-Datenquellen unterstützen
• [SPARK-36870] [SQL] Fehlerklasse INTERNAL_ERROR einführen
• [SPARK-36831] [SQL] Lesen und Schreiben von ANSI-Intervallen aus und in CSV-Datenquellen unterstützen
• [SPARK-36550] [SQL] Ursache bei Fehler der UDF-Reflektion angeben
• [SPARK-36866] [SQL] Filter mit ANSI-Intervallwerten an Parquet pushen
• [SPARK-33832] [SQL] Zwangsweise Vereinfachung und Verbesserung des Skew-Join-Codes
• [SPARK-36642] [SQL] df.withMetadata pyspark-API hinzufügen
• [SPARK-35765] [SQL] Eindeutige Aggregate sind nicht empfindlich gegenüber Duplikaten.
• [SPARK-36825] [SQL] Lesen und Schreiben von Dataframes mit ANSI-Intervallen von und zu Parquet-Dateien
• [SPARK-36829] [SQL] NULL-Überprüfung für collectionOperators umgestalten
• [SPARK-32712] [SQL] Schreiben von Hive-Buckettabellen unterstützen (Hive-Dateiformate mit Hive-Hash)
• [SPARK-36797] [SQL] Union sollte geschachtelte Spalten als Top-Level-Spalten auflösen
• [SPARK-36838] [SQL] Leistung des von InSet generierten Codes verbessern
• [SPARK-36683] [SQL] Neue integrierte SQL-Funktionen hinzufügen: SEC und CSC
• [SPARK-36721] [SQL] Boolesche Gleichheitsformel vereinfachen, wenn eine Seite ein Literal ist
• [SPARK-36760] [SQL] SupportsPushDownV2Filters-Schnittstelle hinzufügen
• [SPARK-36652] [SQL] Dynamische Joinauswahl in AQE sollte nicht für nicht äquivalente Joins gelten
• [SPARK-36745] [SQL] ExtractEquiJoinKeys sollte die ursprünglichen Prädikate für Joinschlüssel zurückgeben
• [SPARK-36107] [SQL] Refaktoriere die ersten 20 Abfragefehler, um Fehlerklassen zu verwenden
• [SPARK-32709] [SQL] Schreiben in Hive-Buckettabellen unterstützen (Parquet-/ORC-Format mit Hive-Hash)
• [SPARK-36735] [SQL] Aufwand für die zwischengespeicherte Relation für DPP anpassen
• [SPARK-33832] [SQL] Optimierte Skew Joins unterstützen, auch wenn zusätzliches Shuffling entsteht
• [SPARK-36822] [SQL] BroadcastNestedLoopJoinExec sollte alle Bedingungen anstelle der non-equi-Bedingung verwenden.
• [SPARK-35221] [SQL] Überprüfung für unterstützte Joinhinweise hinzufügen
• [SPARK-36814] [SQL] ColumnarBatch-Klasse sollte erweiterbar sein
• [SPARK-36663] [SQL] Nur aus Zahlen bestehende Spaltennamen in ORC-Datenquellen unterstützen
• [SPARK-36751] [SQL][python][R] Hinzufügen von Bit-/octet_length-APIs zu Scala, Python und R
• [SPARK-36733] [SQL] Leistungsproblem in SchemaPruning bei Strukturen mit vielen Feldern beheben
• [SPARK-36724] [SQL] timestamp_ntz als Typ für die time-Spalte in SessionWindow unterstützen
• [SPARK-36556] [SQL] DSV2-Filter hinzufügen
• [SPARK-36687] [SQL][core] Umbenennen von Fehlerklassen mit _ERROR Suffix
• [SPARK-35803] [SQL] DataSource V2 CreateTempViewUsing unterstützen
• [SPARK-36642] [SQL] Hinzufügen von df.withMetadata: eine syntaktische Vereinfachung zur Aktualisierung der Metadaten eines Dataframes

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.1-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus der Microsoft CRAN-Momentaufnahme vom 26.10.2021 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)