Databricks Runtime 10.0 (EoL)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.0 e Databricks Runtime 10.0 Photon, con tecnologia Apache Spark 3.2.0. Databricks ha rilasciato questa versione nell'ottobre 2021. Photon è disponibile in anteprima pubblica.

Miglioramenti e nuove funzionalità

• Nuova versione di Apache Spark
• SELECT 'istruzione supporta ora la clausola QUALIFY per il filtraggio dei risultati della funzione window
• Supporto del cluster per JDK 11 (anteprima pubblica)
• Il caricatore automatico ora considera gli schemi come nullable

Nuova versione di Apache Spark

Databricks Runtime 10.0 e Databricks Runtime 10.0 Photon includono Apache Spark 3.2.0. Per informazioni dettagliate, vedere Apache Spark.

SELECT istruzione supporta ora la QUALIFY clausola per filtrare i risultati della funzione finestra

Ora, l'istruzione SELECT supporta la clausola QUALIFY. QUALIFY può essere usato per filtrare i risultati delle funzioni finestra. Una o più funzioni finestra devono essere presenti nell'elenco di SELECT o nella condizione di QUALIFY. Ad esempio:

SELECT * FROM t QUALIFY SUM(c2) OVER (PARTITION BY c1) > 0;

Supporto del cluster per JDK 11 (anteprima pubblica)

Databricks offre ora il supporto del cluster per Java Development Kit (JDK) 11.

Quando si crea un cluster, è possibile specificare che il cluster usa JDK 11 (sia per il driver che per l'executor). A tale scopo, aggiungere la seguente variabile di ambiente a Opzioni Avanzate Spark Variabili di ambiente:

JNAME=zulu11-ca-amd64

Il caricatore automatico ora tratta gli schemi come nullabili.

Il Caricatore Automatico ora considera tutti gli schemi dedotti e forniti dall'utente come annullabili, ovvero possono assumere valori nulli, per impostazione predefinita. Ciò consente di evitare potenziali danneggiamenti dei dati nei casi in cui i dati contengono campi null per colonne non-nullable. Viene introdotta una nuova configurazione per tenere traccia di questo comportamento, spark.databricks.cloudFiles.schema.forceNullable. Per impostazione predefinita, questa configurazione contiene l'impostazione di spark.sql.streaming.fileSource.schema.forceNullable, usata da FileStreamSource in Apache Spark e impostata su true per impostazione predefinita.

Cambiamenti radicali

Modifiche di rilievo per tutti gli utenti di Spark SQL

• Nuova configurazione spark.databricks.behaviorChange.SC78546CorrelatedPredicate.enabled: se impostata su true, consente un sottoinsieme di predicati di uguaglianza correlati nel caso in cui una sottoquery venga aggregata. L'impostazione predefinita è true.
• Nuova configurazione di spark.databricks.behaviorChange.SC82201BlockAutoAlias.enabled: quando è impostata su true, blocca l'autogenerazione degli alias quando vengono create le viste. L'impostazione predefinita è true.
• Nuova configurazione di spark.databricks.behaviorChange.SC81078CTASWithLocation.enabled: quando impostata su true, impedisce CREATE TABLE AS SELECT se la posizione non è vuota. L'impostazione predefinita è true. Si noti che quando spark.sql.legacy.allowNonEmptyLocationInCTAS è impostato anche su true, questa configurazione non ha alcun effetto e CREATE TABLE AS SELECT con una posizione non vuota è sempre consentita.

Modifiche di rilievo per gli utenti di Spark SQL che abilitano la modalità ANSI

Per informazioni sulla modalità ANSI, vedere Conformità ANSI in Databricks Runtime.

• Nuova configurazione di spark.databricks.behaviorChange.SC83587NextDayDOW.enabled: se impostata su true, un argomento di dayOfWeek non valido per la funzione next_day genera un IllegalArgumentException in modalità ANSI; in caso contrario restituisce null. L'impostazione predefinita è true.

• Nuova configurazione spark.databricks.behaviorChange.SC83796CanCast.enabled: se impostata su true, abilita nuove regole di sintassi cast esplicite in modalità ANSI. L'impostazione predefinita è true.

• Nuova configurazione spark.databricks.behaviorChange.SC79099CastStringToBoolean.enabled: quando è impostata su true, viene sollevata un'eccezione di errore di analisi se una stringa viene convertita in un Boolean; in caso contrario, restituisce null. L'impostazione predefinita è true.

• Nuova configurazione spark.databricks.behaviorChange.SC79064AbsOutsideRange.enabled: se impostata su true, la funzione abs genera un'eccezione se l'input è al di fuori dell'intervallo. L'impostazione predefinita è true.

Modifiche di rilievo per tutti gli utenti Python

• L'API delta.tables.DeltaTable.convertToDelta Python restituisce ora l'oggetto Python corretto DeltaTable che può essere usato per eseguire i comandi Delta Lake. In precedenza restituiva un oggetto interno che non poteva essere chiamato direttamente.

Aggiornamenti della libreria

Aggiornamento di Apache Hadoop 3

• Databricks Runtime 10.0 aggiorna la dipendenza hadoop da Hadoop 2.7.4 a Hadoop 3.3.1.

Modifiche del comportamento

• Hadoop 3 usa le librerie hadoop-client-api e hadoop-client-runtime invece della libreria hadoop-common , che shades alcune dipendenze di terze parti che potrebbero essere usate nelle API pubbliche o nelle estensioni di Hadoop.
• Le opzioni di configurazione di Hadoop 3 sono state modificate a partire da Hadoop 2. Per le opzioni di Hadoop 3.3.1, vedere core-default.xml.
• Databricks ha aggiornato alcune delle configurazioni predefinite per Hadoop 3 in modo che siano coerenti con Hadoop 2, per assicurarsi che i connettori di archiviazione abbiano le stesse impostazioni di autenticazione predefinite e gli stessi livelli di prestazioni:
  • fs.azure.authorization.caching.enable = false
  • fs.s3a.attempts.maximum = 10
  • fs.s3a.block.size = 67108864
  • fs.s3a.connection.timeout = 50000
  • fs.s3a.max.total.tasks = 1000
  • fs.s3a.retry.limit = 20
  • fs.s3a.retry.throttle.interval = 500ms
  • fs.s3a.assumed.role.credentials.provider = com.amazonaws.auth.InstanceProfileCredentialsProvider
  • fs.s3a.aws.credentials.provider = BasicAWSCredentialsProvider, DatabricksInstanceProfileCredentialsProvider, EnvironmentVariableCredentialsProvider, AnonymousAWSCredentialsProvider
• Il connettore Google Cloud Storage (GCS) è stato aggiornato dalla versione 2.1.6 alla versione 2.2.2.
• Il connettore Amazon Redshift ora usa lo s3a:// schema . Lo s3n:// schema è deprecato.
• Gestisce i nomi delle classi OSS per l'API MetadataStore amazon S3 oltre alle classi ombreggiate. In questo modo è possibile elaborare le configurazioni OSS senza richiedere i nomi delle classi ombreggiate.
  • Ad esempio, è possibile specificare la org.apache.hadoop.fs.s3a.s3guard.NullMetadataStore classe nella configurazione di Hadoop.
• Rende new Configuration() e sparkContext.hadoopConfiguration coerenti tra loro.
  • Ora ogni volta che viene creata una nuova configurazione hadoop, sarà coerente con la configurazione predefinita di Hadoop in sparkContext.hadoopConfiguration in Databricks Runtime, inclusi gli schemi di file system e la relativa configurazione predefinita.
• Anche se i connettori di archiviazione Hadoop inclusi in Databricks Runtime sono completamente compatibili con Hadoop 3.3.1, non è garantito che siano sincronizzati con i connettori Hadoop 3.3.1 oss e potrebbero avere un comportamento diverso.
  • Il connettore Amazon S3 consente comunque (anche se con un avviso) l'autenticazione utente:segreto negli URL S3, rispetto a HADOOP-14833 che lo rimuove.
• globStatus ora restituisce sempre risultati ordinati(HADOOP-10798)
• Aggiunto fs.s3a.endpoint se non impostato e fs.s3a.endpoint regione è null (SPARK-35878)
  • La risoluzione automatica della regione Amazon S3 fornita da Databricks potrebbe non essere attivata in alcuni casi, a causa dell'impostazione dell'endpoint globale. Questo non è un problema, perché AWS SDK risolverà correttamente l'area.
• Aggiungere fs.s3a.downgrade.syncable.exceptions se non impostato (SPARK-35868)
• I codec LZ4 e Snappy non si basano sulla libreria Hadoop nativa (HADOOP-17125)

Problemi noti

• SPARK-36681 L'uso di SnappyCodec per scrivere il file di sequenza avrà esito negativo con UnsatisfiedLinkError a causa di un problema noto in Hadoop 3.3.1(HADOOP-17891)

Apache Spark

Databricks Runtime 10.0 include Apache Spark 3.2.0.

Contenuto della sezione:

• Caratteristiche salienti
• Core e Spark SQL
• Structured Streaming
• PySpark
• MLlib
• Deprecazioni e rimozioni

Caratteristiche salienti

• Supportare il livello API Pandas in PySpark(SPARK-34849)
• Sessionizzazione basata su TempoEvento (finestra di sessione)(SPARK-10816)
• Supporto dei tipi ANSI SQL INTERVAL (SPARK-27790)
• MODALITÀ ANSI GA(SPARK-35030)
• Standardizzare i messaggi di eccezione in Spark (SPARK-33539)

Core e Spark SQL

Miglioramenti della compatibilità SQL ANSI

• Supporto dei tipi ANSI SQL INTERVAL (SPARK-27790)
• Nuove regole di sintassi di coercizione dei tipi in modalità ANSI (SPARK-34246)

Miglioramenti delle prestazioni

• Ottimizzazione delle query
  • Rimuovere le aggregazioni ridondanti in Optimizer(SPARK-33122)
  • Limita la propagazione attraverso il Progetto con Join (SPARK-34622)
  • Stima della cardinalità dell'operatore union, sort e range (SPARK-33411)
  • Supporto per unwrapCastInBinaryComparison nel predicato In/InSet(SPARK-35316)
  • Mantenere le statistiche necessarie dopo la potatura della partizione(SPARK-34119)
• Esecuzione di query
  • Abilitare il pool di buffer Zstandard per impostazione predefinita (SPARK-34340, SPARK-34390)
  • Aggiungere la generazione di codice per tutti i tipi di join di tipo merge(SPARK-34705)
  • Miglioramento del join del ciclo annidato(SPARK-34706)
  • Supportare due livelli di mappe hash per l'aggregazione hash finale (SPARK-35141)
  • Consentire agli scrittori concorrenti di scrivere partizioni dinamiche e tabelle bucket(SPARK-26164)
  • Migliorare le prestazioni di elaborazione FETCH_PRIOR in Thriftserver(SPARK-33655)

Miglioramenti del connettore

• Parquet
  • Aggiornare Parquet alla versione 1.12.1(SPARK-36726)
  • Leggere i tipi senza segno di parquet archiviati come tipo fisico int32 in parquet (SPARK-34817)
  • Leggere il tipo logico Parquet senza segno int64 archiviato come tipo fisico con segno int64 a decimal(20, 0)(SPARK-34786)
  • Migliorare Parquet nel pushdown dei filtri (SPARK-32792)
• ORCO
  • Aggiornare ORC alla versione 1.6.11(SPARK-36482)
  • Supporto dell'evoluzione posizionale forzata ORC (SPARK-32864)
  • Supportare la colonna nidificata nel lettore con vettori ORC(SPARK-34862)
  • Supportare la compressione ZSTD e LZ4 nell'origine dati ORC (SPARK-33978, SPARK-35612)
• Avro
  • Aggiornare Avro alla versione 1.10.2(SPARK-34778)
  • Supporto dell'evoluzione dello schema Avro per le tabelle Hive partizionate con "avro.schema.literal"(SPARK-26836)
  • Aggiungere nuove opzioni per l'origine dati Avro per controllare il riallineamento del datetime nella funzione di lettura (SPARK-34404)
  • Aggiunta del supporto per l'URL dello schema fornito dall'utente in Avro(SPARK-34416)
  • Aggiungere il supporto per la corrispondenza dello schema Catalyst-to-Avro posizionale(SPARK-34365)
• JSON
  • Aggiornare Jackson alla versione 2.12.3(SPARK-35550)
  • Consentire alle origini dati Json di scrivere caratteri non ascii come punti di codice (SPARK-35047)
• JDBC
  • Calcolare un passo di partizione più preciso in JDBCRelation(SPARK-34843)
• Supporto filtro metastore Hive per not-in (SPARK-34538)

Miglioramenti delle funzionalità

• Sottoquery
  • Migliorare le sottoquery correlate (SPARK-35553)
• Nuove funzioni predefinite
  • ilike(SPARK-36674, SPARK-36736)
  • current_user(SPARK-21957)
  • product(SPARK-33678)
  • regexp_like,regexp (SPARK-33597, SPARK-34376)
  • try_add(SPARK-35162)
  • try_divide(SPARK-35162)
  • bit_get(SPARK-33245)
• Usare Apache Hadoop 3.3.1 per impostazione predefinita (SPARK-29250)
• Aggiungere checksum per blocchi di rimescolamento (SPARK-35275)
• Abilitare spark.storage.replication.proactive per impostazione predefinita(SPARK-33870)
• Supporto della pulizia dell'archiviazione di fallback durante l'arresto di SparkContext(SPARK-34142)
• Supportare le enumerazioni Java dall'API del set di dati Scala (SPARK-23862)
• ADD JAR con coordinate di ivy devono essere compatibili con il comportamento transitivo di Hive (SPARK-34506)
• Supporto comando S ADD ARCHIVE e LIST ARCHIVE(SPARK-34603)
• Consentire più percorsi per i comandi ADD FILE/JAR/ARCHIVE (SPARK-35105)
• Supportare i file di archivio come risorse nella sintassi USING per CREATE FUNCTION (SPARK-35236)
• Caricamento di SparkSessionExtensions da ServiceLoader(SPARK-35380)
• Aggiungere la funzione delle frasi alle funzioni di {scala, py} (SPARK-35418)
• Applicare spark.sql.hive.metastorePartitionPruning per tabelle non-Hive che utilizzano il Metastore Hive per la gestione delle partizioni (SPARK-36128)
• Propagare la causa della perdita di exec nell'interfaccia utente Web (SPARK-34764)
• Evitare l'inlining di With-CTEs non deterministici (SPARK-36447)
• Supportare l'analisi di tutte le tabelle in un database specifico(SPARK-33687)
• Standardizzare i messaggi di eccezione in Spark (SPARK-33539)
• Supporto (IGNORE | RESPECT) NULLS per LEAD/LAG/NTH_VALUE/FIRST_VALUE/LAST_VALUE(SPARK-30789)

Altre modifiche rilevanti

• Schermo
  • Nuove metriche per ExternalShuffleService(SPARK-35258)
  • Aggiungere nuove API e parametri REST a livello di fase (SPARK-26399)
  • Supporto delle distribuzioni delle metriche di attività ed esecuzione nell'API REST (SPARK-34488)
  • Aggiungere metriche di fallback per l'aggregazione hash (SPARK-35529)
• Aggiungere count_distinct come opzione a Dataset#summary(SPARK-34165)
• Implementare ScriptTransform in sql/core(SPARK-31936)
• Rendere configurabile il timeout heartbeat del driver BlockManagerMaster (SPARK-34278)
• Rendere configurabile il nome del servizio shuffle sul lato client e consentire l'override della configurazione basata su classpath sul lato server (SPARK-34828)
• ExecutorMetricsPoller deve mantenere la fase di ingresso in stageTCMP fino a quando non si verifica un heartbeat (SPARK-34779)
• Sostituire il condizionale "if" con la clausola "filter" in RewriteDistinctAggregates(SPARK-34882)
• Correzione dell'errore quando si applica CostBasedJoinReorder al self-join(SPARK-34354)
• CREATE TABLE LIKE dovrebbe rispettare le proprietà della tabella riservata (SPARK-34935)
• Spedire il file ivySettings al driver in modalità cluster YARN (SPARK-34472)
• Risolvere le colonne comuni duplicate da USING/NATURAL JOIN(SPARK-34527)
• Nascondere le proprietà interne della vista per il comando descrivi tabella (SPARK-35318)
• Supporto per la risoluzione dei valori attr mancanti per l'hint distribute/cluster by/repartition (SPARK-35331)
• Ignorare l'errore durante il controllo del percorso in FileStreamSink.hasMetadata(SPARK-34526)
• Migliorare il supporto del magic committer di s3a inferendo configurazioni mancanti (SPARK-35383)
• Consenti di omettere : nella stringa del tipo STRUCT (SPARK-35706)
• Aggiungere un nuovo operatore per distinguere se AQE può ottimizzare in modo sicuro (SPARK-35786)
• Accodare nuovi campi struct annidati anziché ordinare per unionByName con riempimento null(SPARK-35290)
• ArraysZip deve mantenere i nomi dei campi per evitare di essere riscritto dall'analizzatore/optimizer(SPARK-35876)
• Usare "Void" come nome del tipo per NullType(SPARK-36224)
• Introduzione della nuova API a FileCommitProtocol consente la denominazione flessibile dei file (SPARK-33298)

Modifiche del comportamento

Vedere le guide alla migrazione per ogni componente: Spark Core.

Streaming Strutturato

Funzionalità principali

• Sessionizzazione basata su TempoEvento (finestra di sessione)(SPARK-10816)
• Aggiornare il client Kafka alla versione 2.8.0(SPARK-33913)
• Trigger.AvailableNow per l'esecuzione di query di streaming come Trigger.Once in più batch in Scala (SPARK-36533)

Altre modifiche rilevanti

• Introdurre una nuova opzione nella sorgente Kafka per specificare un numero minimo di record da leggere per ogni attivazione (SPARK-35312)
• Aggiungere gli offset più recenti al progresso dell'origine (SPARK-33955)

PySpark

Progetto Zen

• API Pandas in Spark (SPARK-34849)
  • Abilitare mypy per pandas-on-Spark(SPARK-34941)
  • Implementare supporto CategoricalDtype (SPARK-35997, SPARK-36185)
  • Completare le operazioni di base di Series and Index(SPARK-36103, SPARK-36104, SPARK-36192)
  • Collegare le azioni a 1.3 pandas(SPARK-36367)
  • Allinea i comportamenti delle Serie con NaN a quelli di pandas (SPARK-36031, SPARK-36310)
  • Implementare l'operatore unario 'inverti' della serie integrale e dell'indice (SPARK-36003)
  • Implementare CategoricalIndex.map e DatetimeIndex.map(SPARK-36470)
  • Implementare Index.map(SPARK-36469)
• supporto gestore degli errori per il processo Python si è arrestato (SPARK-36062)
• Usare la regola di denominazione Snake nelle API della funzione (SPARK-34306)
• Abilitare spark.sql.execution.pyspark.udf.simplifiedTraceback.enabled per impostazione predefinita(SPARK-35419)
• Supporto per dedurre la dict annidata come struct durante la creazione di un dataframe (SPARK-35929)

Altre modifiche rilevanti

• Abilitare la modalità thread bloccata per impostazione predefinita (SPARK-35303)
• Aggiungere il supporto NullType per le esecuzioni Arrow (SPARK-33489)
• Aggiungere il supporto di Arrow self_destruct a toPandas (SPARK-32953)
• Aggiungere l'API wrapper per il target del thread in modalità fissa di pyspark (SPARK-35498)

Modifiche del comportamento

Vedi le guide alla migrazione.

MLlib

Miglioramenti delle prestazioni

• Ottimizzazione della trasformazione BucketedRandomProjectionLSH (SPARK-34220)
• w2v findSynonyms Optimization(SPARK-34189)
• ottimizzare il GEMM sparse ignorando il controllo dei limiti(SPARK-35707)
• Migliorare le prestazioni di ML ALS recommendForAll by GEMV(SPARK-33518)

Miglioramenti della formazione del modello

• Rifattorizzare l'Aggregatore Logistico - supporto alla centratura virtuale (SPARK-34797)
• Regressione Logistica Binaria con supporto all'intercetta centrato (SPARK-34858, SPARK-34448)
• Regressione logistica multinomiale con centro di supporto intercetta (SPARK-34860)

Miglioramenti di BLAS

• Sostituire integralmente com.github.fommil.netlib con dev.ludovic.netlib:2.0(SPARK-35295)
• Aggiungere un'implementazione DI BLAS vettorializzata (SPARK-33882)
• Accelerare il fallback BLAS con dev.ludovic.netlib(SPARK-35150)

Altre modifiche rilevanti

• La trasformazione OVR consente di correggere potenziali conflitti di colonna(SPARK-34356)

Deprecazioni e rimozioni

• Deprecare il parametro spark.launcher.childConnectionTimeout(SPARK-33717)
• dichiarare obsoleto GROUP BY ... SET DI RAGGRUPPAMENTO (...) e promuovere GROUP BY SET DI RAGGRUPPAMENTO (...)(SPARK-34932)
• Deprecate ps.broadcast API(SPARK-35810)
• Deprecare l'argomento num_files (SPARK-35807)
• Deprecare DataFrame.to_spark_io(SPARK-35811)

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.0.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.1
• Delta Lake: 1.0.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-09-21.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)