Databricks Runtime 10.0 (EoL)

Die folgenden Versionshinweise enthalten Informationen zu Databricks Runtime 10.0 und Databricks Runtime 10.0 Photon, unterstützt von Apache Spark 3.2.0. Diese Version wurde von Databricks im Oktober 2021 veröffentlicht. Photon ist als Public Preview verfügbar.

Neue Features und Verbesserungen

• Neue Version von Apache Spark
• SELECT-Anweisung unterstützt jetzt die QUALIFY-Klausel zum Filtern von Fensterfunktionsergebnissen
• Clusterunterstützung für JDK 11 (Public Preview)
• Auto Loader behandelt Schemas jetzt als nullable

Neue Version von Apache Spark

Databricks Runtime 10.0 und Databricks Runtime 10.0 Photon enthalten Apache Spark 3.2.0. Weitere Informationen finden Sie unter Apache Spark.

SELECT-Anweisung unterstützt jetzt die QUALIFY-Klausel zum Filtern von Ergebnissen der Fensterfunktionen.

Die SELECT-Anweisung unterstützt jetzt die QUALIFY-Klausel. QUALIFY kann verwendet werden, um die Ergebnisse von Fensterfunktionen zu filtern. Mindestens eine Fensterfunktion muss entweder in der SELECT-Liste oder in der QUALIFY-Bedingung vorhanden sein. Beispiele:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Clusterunterstützung für JDK 11 (Public Preview)

Databricks bietet jetzt Clusterunterstützung für Java Development Kit (JDK) 11.

Wenn Sie einen Cluster erstellen, können Sie angeben, dass der Cluster JDK 11 verwendet (sowohl für den Treiber als auch für den Executor). Fügen Sie hierzu die folgende Umgebungsvariable zu Erweiterte Optionen > Spark > Umgebungsvariablen hinzu:

JNAME=zulu11-ca-amd64

Autoloader behandelt Schemas jetzt als nullable

Autoloader behandelt jetzt alle abgeleiteten und vom Benutzer bereitgestellten Schemas standardmäßig als nullable. Dadurch soll eine potenzielle Datenbeschädigung in Fällen vermieden werden, in denen die Daten NULL-Felder für Spalten enthalten, die keine Nullwerte zulassen. Eine neue Konfiguration wird eingeführt, um dieses Verhalten nachzuverfolgen: spark.databricks.cloudFiles.schema.forceNullable. Standardmäßig enthält diese Konfiguration die Einstellung von spark.sql.streaming.fileSource.schema.forceNullable, die von „FileStreamSource“ in Apache Spark verwendet wird und standardmäßig auf true festgelegt ist.

Kompatibilitätsbrechende Änderungen

Wesentliche Änderungen für alle Spark SQL-Benutzer

• Neue spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, wird eine Teilmenge korrelierter Gleichheitsprädikate ermöglicht, wenn eine Unterabfrage aggregiert wird. Die Standardeinstellung ist true.
• Neue spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, werden beim Erstellen von Ansichten automatisch generierte Aliase blockiert. Die Standardeinstellung ist true.
• Neue spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled-Konfiguration: Wenn die Einstellung auf true gesetzt ist, wird CREATE TABLE AS SELECT mit einem nicht leeren Ort nicht zugelassen. Die Standardeinstellung ist true. Beachten Sie, dass diese Konfiguration keine Auswirkung hat, wenn spark.sql.legacy.allowNonEmptyLocationInCTAS ebenfalls auf true festgelegt ist, und dass CREATE TABLE AS SELECT mit einem nicht leeren Speicherort immer zulässig ist.

Änderungen mit Auswirkungen für Spark SQL-Benutzer, die den ANSI-Modus aktiviert haben

Informationen zum ANSI-Modus finden Sie unter ANSI-Compliance in Databricks Runtime.

• Neue spark.databricks.behaviorChange.SC83587NextDayDOW.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, löst ein ungültiges dayOfWeek-Argument für die next_day-Funktion im ANSI-Modus eine IllegalArgumentException aus. Andernfalls wird null zurückgegeben. Die Standardeinstellung ist true.

• Neue spark.databricks.behaviorChange.SC83796CanCast.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, werden neue Regeln für die explizite Cast-Syntax im ANSI-Modus eingeführt. Die Standardeinstellung ist true.

• Neue spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, wird beim Umwandeln einer Zeichenfolge in einen booleschen Wert eine Analysefehlerausnahme ausgelöst. Andernfalls wird null zurückgegeben. Die Standardeinstellung ist true.

• Neue spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled-Konfiguration: Wenn diese Einstellung auf true festgelegt ist, löst die abs-Funktion eine Ausnahme aus, wenn die Eingabe außerhalb des Bereichs liegt. Die Standardeinstellung ist true.

Umwälzende Änderungen für alle Benutzer von Python

• Die Python-API delta.tables.DeltaTable.convertToDelta gibt nun das richtige DeltaTable-Python-Objekt zurück, das zum Ausführen von Delta Lake-Befehlen verwendet werden kann. Zuvor wurde ein internes Objekt zurückgegeben, das nicht direkt aufgerufen werden konnte.

Bibliotheksaktualisierungen

Apache Hadoop 3-Upgrade

• Databricks Runtime 10.0 führt ein Upgrade der Hadoop-Abhängigkeit von Hadoop 2.7.4 auf Hadoop 3.3.1 durch.

Verhaltensänderungen

• Hadoop 3 verwendet die Bibliotheken hadoop-client-api und hadoop-client-runtime anstelle der hadoop-common-Bibliothek, die bestimmte Abhängigkeiten von Drittanbietern abschirmt, die möglicherweise in öffentlichen Hadoop-APIs oder -Erweiterungen verwendet werden können.
• Die Konfigurationsoptionen für Hadoop 3 haben sich seit Hadoop 2 geändert. Informationen zu Hadoop 3.3.1-Optionen finden Sie unter core-default.xml.
• Databricks hat einige der Standardkonfigurationen für Hadoop 3 aktualisiert, damit sie mit Hadoop 2 konsistent sind, um sicherzustellen, dass Speicherconnectors über die gleichen Standardauthentifizierungseinstellungen und Leistungsstufen verfügen:
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• Der GCS-Connector (Google Cloud Storage) hat ein Upgrade von 2.1.6 auf 2.2.2 erhalten.
• Der Amazon Redshift-Connector verwendet jetzt das s3a://-Schema. Das s3n://-Schema ist veraltet.
• Behandelt die OSS-Klassennamen für die Amazon S3 MetadataStore-API zusätzlich zu abgeschirmten Klassen. Dies ermöglicht die Verarbeitung von OSS-Konfigurationen, ohne dass die abgeschirmten Klassennamen erforderlich sind.
  • Beispielsweise können Sie die org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore-Klasse in der Hadoop-Konfiguration angeben.
• Dadurch werden die new Configuration() und sparkContext.hadoopConfiguration konsistent.
  • Wenn jetzt eine neue Hadoop-Konfiguration erstellt wird, stimmt sie mit der vordefinierten Hadoop-Konfiguration in sparkContext.hadoopConfiguration in der Databricks Runtime überein, einschließlich der Dateisystemschemas und ihrer Standardkonfiguration.
• Obwohl die in Databricks Runtime enthaltenen Hadoop-Speicherconnectors vollständig mit Hadoop 3.3.1 kompatibel sind, ist nicht garantiert, dass sie mit OSS Hadoop 3.3.1-Connectors synchronisiert sind und möglicherweise ein anderes Verhalten aufweisen.
  • Der Amazon S3-Connector lässt weiterhin (wenn auch mit einer Warnung) die Authentifizierung „user:secret“ in S3-URLs zu, im Vergleich zu HADOOP-14833, wodurch diese entfernt wird.
• globStatus gibt jetzt immer sortierte Ergebnisse zurück (HADOOP-10798)
• „fs.s3a.endpoint“ wurde hinzugefügt, wenn dies nicht festgelegt ist und die fs.s3a.endpoint-Region Null ist (SPARK-35878)
  • Die von Databricks bereitgestellte automatische Auflösung der Amazon S3-Region wird in einigen Fällen möglicherweise nicht ausgelöst, da der globale Endpunkt festgelegt ist. Dies ist kein Problem, da das AWS SDK die Region korrekt löst.
• Fügen Sie „fs.s3a.downgrade.syncable.exceptions“ hinzu, wenn dies nicht festgelegt ist (SPARK-35868)
• LZ4- und Snappy-Codecs basieren nicht auf der nativen Hadoop-Bibliothek (HADOOP-17125)

Bekannte Probleme

• SPARK-36681 Bei Verwendung von SnappyCodec zum Schreiben der Sequenzdatei tritt aufgrund eines bekannten Problems in Hadoop 3.3.1 (HADOOP-17891) ein Fehler mit UnsatisfiedLinkError auf.

Apache Spark

Databricks Runtime 10.0 enthält Apache Spark 3.2.0.

Inhalt dieses Abschnitts:

• Höhepunkte
• Core und Spark SQL
• Strukturiertes Streaming
• PySpark
• MLlib
• Veraltete und entfernte Funktionen

Höhepunkte

• Unterstützung der Pandas-API-Ebene in PySpark (SPARK-34849)
• EventTime-basierte Sitzungserstellung (Sitzungsfenster) (SPARK-10816)
• Unterstützung von ANSI SQL INTERVAL-Typen (SPARK-27790)
• ANSI-Modus GA (SPARK-35030)
• Standardisieren von Ausnahmemeldungen in Spark (SPARK-33539)

Core und Spark SQL

Verbesserungen bei der ANSI SQL-Kompatibilität

• Unterstützung von ANSI SQL INTERVAL-Typen (SPARK-27790)
• Neue Syntaxregeln für die Typkoersion im ANSI-Modus (SPARK-34246)

Leistungsverbesserungen

• Abfrageoptimierung
  • Redundante Aggregate im Optimierer entfernen (SPARK-33122)
  • Grenzwertreduzierung durch Project mit Join (SPARK-34622)
  • Kardinalitätsschätzung des Union-, Sort- und Range-Operators (SPARK-33411)
  • UnwrapCastInBinaryComparison-Unterstützung für In/InSet-Prädikat (SPARK-35316)
  • Erforderliche Statistiken nach der Partitionsbereinigung beibehalten (SPARK-34119)
• Abfrageausführung
  • Zstandard-Pufferpool standardmäßig aktivieren (SPARK-34340, SPARK-34390)
  • Code-Generierung für alle Join-Typen des Sort-Merge-Join hinzufügen (SPARK-34705)
  • Verbesserung des geschachtelter Loop-Joins übertragen (SPARK-34706)
  • Unterstützung von zwei Ebenen der Hashzuordnung für die endgültige Hashaggregation (SPARK-35141)
  • Zulassen von gleichzeitigen Schreibprozessen für das Verarbeiten von dynamischen Partitionen und Buckettabellen (SPARK-26164)
  • Leistung der Verarbeitung von FETCH_PRIOR in Thriftserver verbessern (SPARK-33655)

Verbindererweiterungen

• Parkett
  • Upgrade von Parquet auf 1.12.1 (SPARK-36726)
  • Parquet-Datentypen ohne Vorzeichen lesen, die als physischer INT32-Typ in Parquet gespeichert sind (SPARK-34817)
  • Logischen int64-Parquet-Typ ohne Vorzeichen lesen, der als physischer int64-Typ mit Vorzeichen dezimal (20, 0) gespeichert ist (SPARK-34786)
  • Verbesserung des Filter-Pushdowns bei Parquet (SPARK-32792)
• ORK
  • Upgrade von ORC auf Version 1.6.11 (SPARK-36482)
  • Unterstützung der erzwungenen Positionsentwicklung von ORC (SPARK-32864)
  • Unterstützung geschachtelter Spalten im vektorisierten ORC-Leser (SPARK-34862)
  • Unterstützung der ZSTD- und LZ4-Komprimierung in der ORC-Datenquelle (SPARK-33978, SPARK-35612)
• Avro
  • Upgrade von Avro auf Version 1.10.2 (SPARK-34778)
  • Unterstützung der Avro-Schemaentwicklung für partitionierte Hive-Tabellen mit „avro.schema.literal“ (SPARK-26836)
  • Neue Avro-Datenquellenoptionen zum Hinzufügen zur Steuerung des datetime-Rebasevorgangs beim Lesen (SPARK-34404)
  • Unterstützung für die vom Benutzer bereitgestellte Schema-URL in Avro hinzufügen (SPARK-34416)
  • Fügen Sie die Unterstützung zur positionsbasierten Schemazuordnung von Catalyst zu Avro hinzu (SPARK-34365)
• JSON
  • Upgrade von Jackson auf Version 2.12.3 (SPARK-35550)
  • JSON-Datenquellen das Schreiben von Nicht-ASCII-Zeichen als Codepunkte gestatten (SPARK-35047)
• JDBC
  • Berechnung eines präziseren Partitionsschritts in JDBCRelation (SPARK-34843)
• Hive-Metastore unterstützt Filteroperationen mit „nicht-in“ (SPARK-34538)

Funktionserweiterungen

• Unterabfrage
  • Korrelierte Unterabfragen verbessern (SPARK-35553)
• Neue integrierte Funktionen
  • ilike (SPARK-36674, SPARK-36736)
  • current_user (SPARK-21957)
  • product (SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add(SPARK-35162)
  • try_divide (SPARK-35162)
  • bit_get (SPARK-33245)
• Standardmäßig Apache Hadoop 3.3.1 verwenden (SPARK-29250)
• Prüfsumme für Shuffleblöcke hinzufügen (SPARK-35275)
• Standardmäßiges spark.storage.replication.proactive aktivieren (SPARK-33870)
• Unterstützung von Fallbackspeicherbereinigung beim Beenden von SparkContext (SPARK-34142)
• Unterstützung von Java-Enumerationen aus der Scala-Dataset-API (SPARK-23862)
• ADD JAR mit Ivy-Koordinaten sollte mit dem transitiven Verhalten von Hive kompatibel sein (SPARK-34506)
• UnterstützungsADD ARCHIVE- und LIST ARCHIVES-Befehl (SPARK-34603)
• Unterstützung mehrerer Pfade für ADD FILE/JAR/ARCHIVE-Befehle(SPARK-35105)
• Unterstützen von Archivdateien als Ressourcen für CREATE FUNCTION die USING-Syntax(SPARK-35236)
• SparkSessionExtensions aus ServiceLoader laden (SPARK-35380)
• Funktion „sentences“ zu functions.{scala,py} hinzufügen (SPARK-35418)
• „spark.sql.hive.metastorePartitionPruning“ für Nicht-Hive-Tabellen anwenden, die Hive-Metastore für die Partitionsverwaltung verwenden (SPARK-36128)
• Ursache für exec-Verlust an Webbenutzeroberfläche weitergeben (SPARK-34764)
• Vermeiden Sie das Inlining von nicht-deterministischen With-CTEs (SPARK-36447)
• Unterstützung beim Analysieren aller Tabellen in einer bestimmten Datenbank (SPARK-33687)
• Standardisieren von Ausnahmemeldungen in Spark (SPARK-33539)
• Unterstützung von (IGNORE | RESPECT) NULLS für LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE (SPARK-30789)

Weitere wichtige Änderungen

• Überwachen
  • Neue Metriken für ExternalShuffleService (SPARK-35258)
  • Neue REST-APIs und Parameter auf Stufenebene hinzufügen (SPARK-26399)
  • Unterstützung von Task- und Executor-Metrikverteilungen in der REST-API (SPARK-34488)
  • Fallbackmetriken für das Hashaggregat hinzufügen (SPARK-35529)
• „count_distinct“ als Option zu Dataset#summary hinzufügen (SPARK-34165)
• „ScriptTransform“ in SQL/Core implementieren (SPARK-31936)
• Heartbeattimeout des BlockManagerMaster-Treibers konfigurierbar machen (SPARK-34278)
• Den Namen des Shuffledienstes auf der Clientseite konfigurierbar machen und ein klassenpfadbasiertes Überschreiben der Konfiguration auf der Serverseite zulassen (SPARK-34828)
• ExecutorMetricsPoller sollte den Stage-Eintrag in stageTCMP beibehalten, bis ein Heartbeat auftritt (SPARK-34779)
• In RewriteDistinctAggregates „if“ durch Filterklausel ersetzen (SPARK-34882)
• Fehler beim Anwenden von CostBasedJoinReorder auf Self-Join beheben (SPARK-34354)
• CREATE TABLE LIKE sollte die reservierten Tabelleneigenschaften berücksichtigen(SPARK-34935)
• „ivySettings“-Datei an den Treiber im YARN-Clustermodus senden (SPARK-34472)
• Auflösen doppelter gemeinsamer Spalten aus USING/NATURAL JOIN(SPARK-34527)
• Interne Ansichtseigenschaften für Tabellenbeschreibungsbefehl ausblenden (SPARK-35318)
• Unterstützung beim Auflösen fehlender Attribute für „distribute“/„cluster by“/„repartition hint“ (SPARK-35331)
• Fehler bei der Überprüfung des Pfads in FileStreamSink.hasMetadata ignorieren (SPARK-34526)
• Unterstützung für den s3a Magic Committer durch Rückschlüsse auf fehlende Konfigurationen verbessern (SPARK-35383)
• Erlauben, ":" in der STRUCT-Typzeichenfolge zu weglassen (SPARK-35706)
• Neuen Operator hinzufügen, um zu unterscheiden, ob sichere Optimierung durch AQE möglich ist (SPARK-35786)
• Neue geschachtelte Strukturfelder hinzufügen, anstatt sie nach Namen zu sortieren und mit Nullwerten aufzufüllen (SPARK-35290)
• ArraysZip sollte Feldnamen beibehalten, um zu vermeiden, dass sie vom Analysetool bzw. Optimierer erneut geschrieben werden (SPARK-35876)
• „Void“ als Typname von NullType verwenden (SPARK-36224)
• Einführung einer neuen API für FileCommitProtocol ermöglicht flexible Dateibenennung (SPARK-33298)

Verhaltensänderungen

Sehen Sie sich die Migrationsleitfäden für jede Komponente an: Spark Core.

Strukturiertes Streaming

Hauptfeatures

• EventTime-basierte Sitzungserstellung (Sitzungsfenster) (SPARK-10816)
• Upgrade des Kafka-Clients auf 2.8.0 (SPARK-33913)
• Trigger.AvailableNow zum Ausführen von Streamingabfragen wie Trigger.Once in mehreren Batches in Scala (SPARK-36533)

Weitere wichtige Änderungen

• Einführung einer neuen Option in der Kafka-Quelle, um eine Mindestanzahl von Datensätzen anzugeben, die pro Trigger gelesen werden sollen (SPARK-35312)
• Letzte Offsets zum Quellfortschritt hinzufügen (SPARK-33955)

PySpark

Projekt Zen

• Pandas-API in Spark (SPARK-34849)
  • Mypy für pandas-on-Spark aktivieren (SPARK-34941)
  • CategoricalDtype-Unterstützung implementieren (SPARK-35997, SPARK-36185)
  • Grundlegende Vorgänge für Serie und Index abschließen (SPARK-36103, SPARK-36104, SPARK-36192)
  • Verhaltensweisen an 1.3 Pandas anpassen (SPARK-36367)
  • Verhalten von Series mit NaN auf Pandas abgleichen (SPARK-36031, SPARK-36310)
  • Implementieren eines unären Operators "invertieren" für integrale Serien und Indexe (SPARK-36003)
  • CategoricalIndex.map und DatetimeIndex.map implementieren (SPARK-36470)
  • Index.map implementieren (SPARK-36469)
• „Fault-Handler“-Unterstützung für Python-Worker ist abgestürzt (SPARK-36062)
• Snake-Benennungsregel für die Funktions-APIs verwenden (SPARK-34306)
• „spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled“ standardmäßig aktivieren (SPARK-35419)
• Unterstützung für das Ableiten eines geschachtelten Dictionaries als Struktur beim Erstellen eines DataFrame (SPARK-35929)

Weitere wichtige Änderungen

• Standardmäßig den angehefteten Threadmodus aktivieren (SPARK-35303)
• NullType-Unterstützung für Arrow-Ausführungen hinzufügen (SPARK-33489)
• Unterstützung von „Arrow self_destruct“ zu toPandas hinzufügen (SPARK-32953)
• API für Threadzielwrapper im pyspark Thread-Pinning-Modus hinzufügen (SPARK-35498)

Verhaltensänderungen

Lesen Sie die Migrationsleitfäden.

MLlib

Leistungsverbesserungen

• BucketedRandomProjectionLSH Transformation-Optimierung (SPARK-34220)
• W2V findSynonyms-Optimierung (SPARK-34189)
• Spärliches GEMM durch das Überspringen der Begrenzungsprüfung optimieren (SPARK-35707)
• Leistung von ML ALS recommendForAll durch GEMV verbessern (SPARK-33518)

Verbesserungen beim Modelltraining

• Logistic Aggregator umgestalten – Unterstützung von virtueller Zentrierung (SPARK-34797)
• Binäre logistische Regression mit Zentrierung von Abfangunterstützung (SPARK-34858, SPARK-34448)
• Multinomiale Logistische Regression mit Zentrierung der Schnittstellenunterstützung (SPARK-34860)

BLAS-Verbesserungen

• Vollständiges Ersetzen von com.github.fommil.netlib durch dev.ludovic.netlib:2.0 (SPARK-35295)
• Vektorisierte BLAS-Implementierung hinzufügen (SPARK-33882)
• Fallback-BLAS mit dev.ludovic.netlib beschleunigen (SPARK-35150)

Weitere wichtige Änderungen

• OVR-Transformation kann einen potenziellen Spaltenkonflikt beheben (SPARK-34356)

Veraltungen und Entfernungen

• Abkündigen spark.launcher.childConnectionTimeout(SPARK-33717)
• deaktivieren GROUP BY ... GRUPPIERUNGSSÄTZE (...) und GRUPPIERUNGSSÄTZE GROUP BY fördern (...)(SPARK-34932)
• „ps.broadcast“-API als veraltet kennzeichnen (SPARK-35810)
• Das Argument num_files als veraltet kennzeichnen (SPARK-35807)
• „DataFrame.to_spark_io“ als veraltet kennzeichnen (SPARK-35811)

Wartungsupdates

Weitere Informationen finden Sie unter Databricks Runtime 10.0-Wartungsupdates.

Systemumgebung

• Betriebssystem: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Installierte Python-Bibliotheken

Installierte R-Bibliotheken

R-Bibliotheken werden aus dem Microsoft CRAN-Snapshot vom 21.09.2021 installiert.

Installierte Java- und Scala-Bibliotheken (Scala 2.12-Clusterversion)