Databricks Runtime 11.0 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 11.0, basate su Apache Spark 3.3.0. Databricks ha rilasciato questa versione nel giugno 2022.

Miglioramenti e nuove funzionalità

• Nuova versione di Apache Spark
• I notebook Python ora usano il kernel IPython
• Supporto per ipywidgets
• Il connettore Synapse ora scrive dati Parquet in modalità non legacy
• Lo schema HTTPS ora applicato quando il client ABFS utilizza un token SAS
• SQL: DESC è ora un alias per DESCRIBE
• SQL: La nuova funzione current_version produce dettagli sulla versione
• L'eliminazione di un vincolo di tabella Delta mancante genera ora un errore
• SQL: la nuova EXCEPT clausola nell'istruzione SELECT esclude le colonne dalla selezione
• Supporto per l'eliminazione di colonne nelle tabelle Delta (anteprima pubblica)
• COPY INTO Miglioramenti
• CONVERT TO DELTA è ora supportato negli ambienti abilitati per Unity Catalog (anteprima pubblica)

Nuova versione di Apache Spark

Databricks Runtime 11.0 e Databricks Runtime 11.0 Photon includono Apache Spark 3.3.0. Per informazioni dettagliate, vedere Apache Spark.

I notebook Python ora usano il kernel IPython

In Databricks Runtime 11.0 e versioni successive, i notebook Python usano il kernel IPython per eseguire il codice Python. Vedere IPython Kernel.

Supporto per ipywidgets

È ora possibile usare ipywidgets per rendere interattivi i notebook Python di Databricks. Vedere ipywidgets.

Il connettore Synapse ora scrive dati Parquet in modalità non obsoleta.

Il connettore Azure Synapse scrive ora dati Parquet in modalità non legacy. Mantiene il INT96 formato timestamp quando si utilizzano PolyBase e i COPY comandi per i carichi di lavoro sia batch che di streaming.

Lo schema HTTPS ora è obbligatorio quando il client ABFS utilizza un token SAS.

Quando il client ABFS (Blob File System) di Azure usa un token sas (Shared Access Signature), viene applicato lo schema HTTPS.

SQL: DESC è ora un alias per DESCRIBE

È ora possibile usare DESC come alias per DESCRIBE quando si descrivono percorsi esterni o credenziali di archiviazione. Ad esempio:

-- Describe an external location.
DESC EXTERNAL LOCATION location_name;

-- Describe a storage credential.
DESC STORAGE CREDENTIAL credential_name;

SQL: La nuova funzione current_version fornisce dettagli sulla versione

La nuova current_version funzione restituisce la versione corrente di Databricks Runtime, se disponibile, la versione sql di Databricks corrente, se disponibile, e altri dettagli della versione correlati. Usare questa nuova funzione per eseguire query sulle informazioni relative alla versione. Vedi la funzione current_version.

L'eliminazione di un vincolo di tabella Delta mancante genera ora un errore

Se si tenta ora di eliminare un vincolo di tabella Delta in base al nome e tale vincolo non esiste, verrà visualizzato un errore. Per ottenere il comportamento precedente, che non genera un errore se il vincolo non esiste, è ora necessario usare l'istruzione IF EXISTS . Vedi ALTER TABLE.

SQL: la nuova EXCEPT clausola nell'istruzione SELECT esclude le colonne dalla selezione

SELECT Le istruzioni supportano ora la EXCEPT clausola per escludere colonne dalla selezione. Ad esempio, SELECT * EXCEPT (x) FROM table restituisce tutte le colonne di table ad eccezione di x. Sono consentite anche colonne annidate. Ad esempio, SELECT * EXCEPT (x.a) FROM table restituisce tutte le colonne di table, ma omette il campo a dalla struttura x.

Supporto per l'eliminazione di colonne nelle tabelle Delta (anteprima pubblica)

È possibile usare ALTER TABLE <table-name> DROP COLUMN [IF EXISTS] <column-name> o ALTER TABLE <table-name> DROP COLUMNS [IF EXISTS] (<column-name>, *) per eliminare una colonna o un elenco di colonne, rispettivamente, da una tabella Delta come operazione di sola metadati. Le colonne vengono effettivamente eliminate in modo leggero, perché sono ancora nei file Parquet sottostanti, ma non sono più visibili alla tabella Delta.

È possibile usare REORG TABLE <table-name> APPLY (PURGE) per attivare una riscrittura di file nei file che contengono dati eliminati soft, ad esempio colonne eliminate.

È possibile usare VACUUM per rimuovere i file eliminati dall'archiviazione fisica, inclusi i file precedenti che contengono colonne eliminate e sono stati riscritti da REORG TABLE.

Miglioramenti COPY INTO

È ora possibile creare tabelle Delta segnaposto vuote in modo che lo schema venga dedotto successivamente durante un COPY INTO comando:

CREATE TABLE IF NOT EXISTS my_table
[COMMENT <table-description>]
[TBLPROPERTIES (<table-properties>)];

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('mergeSchema' = 'true')
COPY_OPTIONS ('mergeSchema' = 'true');

L'istruzione SQL precedente è idempotente e può essere pianificata per essere eseguita per l'inserimento dei dati esattamente una volta in una tabella Delta.

Se i dati inseriti non possono essere letti a causa di un problema di danneggiamento, è possibile ignorare i file danneggiati impostando ignoreCorruptFiles su true in FORMAT_OPTIONS:

COPY INTO my_table
FROM '/path/to/files'
FILEFORMAT = <format>
FORMAT_OPTIONS ('ignoreCorruptFiles' = 'true')

Il COPY INTO comando restituisce il numero di file saltati a causa del danneggiamento nella colonna num_skipped_corrupt_files. Questa metrica viene visualizzata anche nella colonna operationMetrics sotto numSkippedCorruptFiles dopo l'esecuzione di DESCRIBE HISTORY nella tabella Delta.

I file danneggiati non vengono rilevati da COPY INTO, quindi possono essere ricaricati in un'esecuzione successiva se il danneggiamento è corretto. È possibile vedere quali file sono danneggiati eseguendo COPY INTO in VALIDATE modalità .

CONVERT TO DELTA è ora supportato negli ambienti abilitati per Unity Catalog (anteprima pubblica)

Nei ambienti abilitati per Unity-Catalog, CONVERT TO DELTA adesso puoi:

• Convertire i file Parquet in percorsi esterni a Delta Lake.
• Convertire tabelle esterne Parquet in tabelle Delta.

Modifiche del comportamento

• SQL: lpad e rpad le funzioni supportano ora sequenze di byte
• Formato stringa in format_string e printf non è più consentito %0$
• I valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita
• La proprietà della tabella external è ora riservata
• Log4j viene aggiornato da Log4j 1 a Log4j 2
• Le librerie installate da Maven vengono ora risolte nel piano di elaborazione per impostazione predefinita

SQL: lpad e rpad le funzioni supportano ora sequenze di byte

Le funzioni lpad e rpad sono state aggiornate per aggiungere il supporto per le sequenze di byte oltre alle stringhe.

Il formato della stringa in format_string e printf non consente più %0$

Se il formato %0$ viene specificato nelle funzioni format_string e printf, viene generato un errore per impostazione predefinita. Questa modifica consiste nel mantenere il comportamento previsto con le versioni precedenti di Databricks Runtime e i database di terze parti comuni. Il primo argomento deve sempre fare riferimento %1$ quando si utilizza un indice di argomento per indicare la posizione dell'argomento nell'elenco di argomenti.

I valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita

I valori Null nei file CSV sono stati scritti in precedenza come stringhe vuote tra virgolette. Con questa versione, i valori Null nei file CSV vengono ora scritti come stringhe vuote senza virgolette per impostazione predefinita. Per tornare al comportamento precedente, impostare l'opzione nullValue su "" per le operazioni di scrittura.

La proprietà tabella external è ora riservata

La proprietà external è ora una proprietà di tabella riservata per impostazione predefinita. Le eccezioni vengono ora generate quando si usa la proprietà external con le clausole CREATE TABLE ... TBLPROPERTIES e ALTER TABLE ... SET TBLPROPERTIES.

Log4j viene aggiornato da Log4j 1 a Log4j 2

Log4j 1 viene aggiornato a Log4j 2. Le dipendenze di Log4j 1 legacy vengono rimosse.

Se si dipende dalle classi Log4j 1 precedentemente incluse in Databricks Runtime, tali classi non esistono più. Dovresti aggiornare le tue dipendenze a Log4j 2.

Se sono presenti plug-in personalizzati o file di configurazione che dipendono da Log4j 2, potrebbero non funzionare più con la versione di Log4j 2 in questa versione. Per assistenza, contattare il team dell'account di Azure Databricks.

Le librerie installate da Maven vengono ora risolte nel piano di calcolo per impostazione predefinita

Le librerie Maven ora vengono risolte nel piano di calcolo per impostazione predefinita quando si installano librerie in un cluster. È necessario che il cluster abbia accesso a Maven Central. In alternativa, è possibile ripristinare il comportamento precedente impostando la proprietà di configurazione spark:

spark.databricks.libraries.enableMavenResolution false

Correzioni di bug

• La compatibilità binaria per LeafNode, UnaryNodee BinaryNode tra Apache Spark e Databricks Runtime è stata corretta e le classi sono ora compatibili con Apache Spark 3.3.0 e versioni successive. Se si verifica il messaggio seguente o simile quando si usa un pacchetto di terze parti con Databricks Runtime, ricompilare il pacchetto con Apache Spark 3.3.0 o versione successiva: Found interface org.apache.spark.sql.catalyst.plans.logical.UnaryNode, but class was expected.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • platformdirs dalla versione 2.5.1 alla versione 2.5.2
  • protobuf da 3.20.0 a 3.20.1
• Librerie R aggiornate:
  • BLOB da 1.2.2 a 1.2.3
  • scopa da 0.7.12 a 0.8.0
  • caret da 6.0-91 a 6.0-92
  • cli da 3.2.0 a 3.3.0
  • dplyr dalla versione 1.0.8 alla versione 1.0.9
  • futuro da 1.24.0 a 1.25.0
  • future.apply dalla versione 1.8.1 alla versione 1.9.0
  • gert da 1.5.0 a 1.6.0
  • ggplot2 da 3.3.5 a 3.3.6
  • glmnet da 4.1-3 a 4.1-4
  • haven da 2.4.3 a 2.5.0
  • httr da 1.4.2 a 1.4.3
  • knitr da 1.38 a 1.39
  • magrittr da 2.0.2 a 2.0.3
  • parallelamente da 1.30.0 a 1.31.1
  • ps da 1.6.0 a 1.7.0
  • RColorBrewer da 1.1-2 a 1.1-3
  • RcppEigen da 0.3.3.9.1 a 0.3.3.9.2
  • readxl da 1.3.1 a 1.4.0
  • rmarkdown da 2.13 a 2.14
  • rprojroot da 2.0.2 a 2.0.3
  • RSQLite da 2.2.11 a 2.2.13
  • scala da 1.1.1 a 1.2.0
  • testthat da 3.1.2 a 3.1.4
  • tibble da 3.1.6 a 3.1.7
  • tinytex da 0,37 a 0,38
  • tzdb da 0.2.0 a 0.3.0
  • uuid da 1.0-4 a 1.1-0
  • vctrs 0.3.8 a 0.4.1
• Librerie Java aggiornate:
  • com.fasterxml.jackson.core.jackson-annotations da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-core da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.core.jackson-databind da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.datatype.jackson-datatype-joda da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-paranamer da 2.13.0 a 2.13.3
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 da 2.13.0 a 2.13.3
  • com.google.crypto.tink.tink da 1.6.0 a 1.6.1
  • com.ning.compress-lzf da 1.0.3 a 1.1
  • dev.ludovic.netlib.arpack da 2.2.0 a 2.2.1
  • dev.ludovic.netlib.blas da 2.2.0 a 2.2.1
  • dev.ludovic.netlib.lapack da 2.2.0 a 2.2.1
  • io.netty.netty-all dalla 4.1.73.Final alla 4.1.74.Final
  • io.netty.netty-buffer da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-codec da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-common da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-handler dalla versione 4.1.73.Final alla versione 4.1.74.Final
  • io.netty.netty-resolver da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-tcnative-classes da 2.0.46.Final a 2.0.48.Final
  • io.netty.netty-transport da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-epoll da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-classes-kqueue da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-aarch_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-epoll-linux-x86_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-aarch_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-kqueue-osx-x86_64 da 4.1.73.Final a 4.1.74.Final
  • io.netty.netty-transport-native-unix-common da 4.1.73.Final a 4.1.74.Final
  • joda-time.joda-time da 2.10.12 a 2.10.13
  • org.apache.commons.commons-math3 da 3.4.1 a 3.6.1
  • org.apache.httpcomponents.httpcore da 4.4.12 a 4.4.14
  • org.apache.orc.orc-core da 1.7.3 a 1.7.4
  • org.apache.orc.orc-mapreduce da 1.7.3 a 1.7.4
  • org.apache.orc.orc-shims da 1.7.3 a 1.7.4
  • org.eclipse.jetty.jetty-client da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-continuation da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-http da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-io da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-jndi versione da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-plus da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-proxy da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-security da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-server da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlet da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-servlets da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-util-ajax da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.jetty-webapp da versione 9.4.43.v20210629 a versione 9.4.46.v20220331
  • org.eclipse.jetty.jetty-xml da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-api da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-client da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-common dalle versioni 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-server da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.eclipse.jetty.websocket.websocket-servlet da 9.4.43.v20210629 a 9.4.46.v20220331
  • org.mariadb.jdbc.mariadb-java-client da 2.2.5 a 2.7.4
  • org.postgresql.postgresql da 42.2.19 a 42.3.3
  • org.roaringbitmap.RoaringBitmap da 0.9.23 a 0.9.25
  • org.roaringbitmap.shims da 0.9.23 a 0.9.25
  • org.rocksdb.rocksdbjni da 6.20.3 a 6.24.2
  • org.slf4j.jcl-over-slf4j da 1.7.32 a 1.7.36
  • org.slf4j.jul-to-slf4j da 1.7.32 a 1.7.36
  • org.slf4j.slf4j-api da 1.7.30 a 1.7.36

Apache Spark

Databricks Runtime 11.0 include Apache Spark 3.3.0.

Contenuto della sezione:

• Spark SQL e Core
• Structured Streaming
• PySpark
• MLLIB
• SparkR
• UI
• Costruire

Spark SQL e Core

Modalità ANSI

• Nuove regole di sintassi cast esplicite in modalità ANSI (SPARK-33354)
• Elt() deve restituire null se index è Null in modalità ANSI (SPARK-38304)
• Facoltativamente, restituisce un risultato Null se l'elemento non esiste in array/map (SPARK-37750)
• Consenti conversione tra tipo numerico e tipo timestamp (SPARK-37714)
• Disabilitare le parole chiave riservate ANSI per impostazione predefinita (SPARK-37724)
• Usare le regole di assegnazione dell'archivio per la risoluzione della chiamata di funzione (SPARK-37438)
• Aggiungere una configurazione per consentire il cast tra Datetime e Numeric (SPARK-37179)
• Aggiungere una configurazione per applicare facoltativamente parole chiave riservate ANSI (SPARK-37133)
• Non consentire operazioni binarie tra intervallo e valore letterale stringa (SPARK-36508)

Miglioramenti delle funzionalità

• Supportare i tipi ANSI SQL INTERVAL (SPARK-27790)
• Miglioramenti dei messaggi di errore (SPARK-38781)
• Supporto dei metadati dei file nascosti per Spark SQL (SPARK-37273)
• Supporto per stringhe letterali grezze (SPARK-36371)
• Classe helper per batch Dataset.observe() (SPARK-34806)
• Si supporta la specificazione del numero di partizione iniziale per il ribilanciamento (SPARK-38410)
• Supportare la modalità a cascata per dropNamespace l'API (SPARK-37929)
• Consenti l'assegnazione dello store e il cast implicito tra i tipi di data e ora (SPARK-37707)
• Collect, first e last devono essere funzioni di aggregazione deterministiche (SPARK-32940)
• Aggiungere ExpressionBuilder per le funzioni con gli overload complessi (SPARK-37164)
• Aggiungere il supporto per gli array per l'unione per nome (SPARK-36546)
• Aggiungere df.withMetadata: una facilitazione sintattica per aggiornare i metadati di un dataframe (SPARK-36642)
• Supporto di valori letterali stringa non elaborati (SPARK-36371)
• Usare CAST nell'analisi di date/timestamp con il modello predefinito (SPARK-36418)
• Classi di valore di supporto in uno schema annidato per Dataset (SPARK-20384)
• Aggiungere il supporto per la sintassi AS OF (SPARK-37219)
• Aggiungere REPEATABLE in TABLESAMPLE per specificare il seed (SPARK-37165)
• Aggiungere la sintassi ANSI set catalog xxx per modificare il catalogo corrente (SPARK-36841)
• Supporto ILIKE (ALL | ANY | SOME) - LIKE senza distinzione tra maiuscole e minuscole (SPARK-36674, SPARK-36736, SPARK-36778)
• La fase di query di supporto mostra le statistiche di runtime in modalità di spiegazione formattata (SPARK-38322)
• Aggiungere le metriche delle dimensioni di spill per il join di ordinamento (SPARK-37726)
• Aggiornare la sintassi SQL di SHOW FUNCTIONS (SPARK-37777)
• Supporto della sintassi DROP COLUMN [IF EXISTS] (SPARK-38939)
• Nuove funzioni predefinite e le relative estensioni (SPARK-38783)
  • Data e ora
    • Aggiungere la funzione TIMESTAMPADD() (SPARK-38195)
    • Aggiungere la funzione TIMESTAMPDIFF() (SPARK-38284)
    • Aggiungere l'alias DATEDIFF() per TIMESTAMPDIFF() (SPARK-38389)
    • Aggiungere l'alias DATEADD() per TIMESTAMPADD() (SPARK-38332)
    • Aggiungere la convert\_timezone() funzione (SPARK-37552, SPARK-37568)
    • Esporre l'espressione make_date in functions.scala (SPARK-36554)
  • Funzioni AES (SPARK-12567)
    • Aggiungere funzioni predefinite aes_encrypt e aes_decrypt (SPARK-12567)
    • Supportare la modalità GCM di aes\_encrypt()/aes\_decrypt() (SPARK-37591)
    • Impostare GCM come modalità predefinita in aes\_encrypt()/aes\_decrypt() (SPARK-37666)
    • Aggiungere gli mode e padding argomenti a aes\_encrypt()/aes\_decrypt() (SPARK-37586)
  • Funzione di aggregazione ANSI (SPARK-37671)
    • Supporto della funzione di aggregazione ANSI: regr_count (SPARK-37613)
    • Supporto della funzione di aggregazione ANSI: regr_avgx e regr_avgy (SPARK-37614)
    • Supporto della funzione di aggregazione ANSI: percentile_cont (SPARK-37676, SPARK-38219)
    • Supporto della funzione di aggregazione ANSI: percentile_disc (SPARK-37691)
    • Supporto della funzione di aggregazione ANSI: regr_count (SPARK-37613)
    • Supporto della funzione di aggregazione ANSI: array_agg (SPARK-27974)
    • Supporto della funzione di aggregazione ANSI: regr_r2 (SPARK-37641)
    • Nuova funzione SQL: try_avg (SPARK-38589)
  • Collezioni
    • Introduzione alla funzione SQL ARRAY_SIZE (SPARK-38345)
    • Nuova funzione SQL: map_contains_key (SPARK-37584)
    • Nuova funzione SQL: try_element_at (SPARK-37533)
    • Nuova funzione SQL: try_sum (SPARK-38548)
  • Formato
    • Aggiungere una nuova funzione SQL to_binary (SPARK-37507, SPARK-38796)
    • Nuova funzione SQL: try_to_binary (SPARK-38590, SPARK-38796)
    • Funzioni di formattazione dei tipi di dati: to\_number (SPARK-28137)
  • Stringa/Binario
    • Aggiungere la funzione stringa CONTAINS() (SPARK-37508)
    • Aggiungere le funzioni stringa startswith() e endswith() (SPARK-37520)
    • Aggiungere funzioni lpad e rpad per stringhe binarie (SPARK-37047)
    • Supportare la funzione "split_part" (SPARK-38063)
  • Aggiungere un parametro di scala alle funzioni floor e ceil (SPARK-37475)
  • Nuove funzioni SQL: try_subtract e try_multiply (SPARK-38164)
  • Implementa la funzione di aggregazione histogram_numeric che supporta l'aggregazione parziale (SPARK-16280)
  • Aggiungere max_by/min_by a sql.functions (SPARK-36963)
  • Aggiungere nuove funzioni SQL predefinite: SEC e CSC (SPARK-36683)
  • array_intersect gestisce i duplicati Double.NaN e Float.NaN (SPARK-36754)
  • Aggiungere cot come funzioni Scala e Python (SPARK-36660)

Miglioramenti delle prestazioni

• Generazione di codice a fasi intere
  • Aggiungere code-gen per l'aggregato di ordinamento senza chiavi di raggruppamento (SPARK-37564)
  • Aggiungere code-gen per l'unione completa di ordinamento esterno (SPARK-35352)
  • Aggiungere la generazione di codice per l'hash join completo mischiato (SPARK-32567)
  • Aggiungere code-gen per l'esistenza di merge di ordinamento (SPARK-37316)
• Eseguire il push verso il basso (filtri)
  • Applicare i filtri tramite RebalancePartitions (SPARK-37828)
  • Applica il filtro della colonna booleana (SPARK-36644)
  • Imposta il limite a 1 per il lato destro del join semi/anti sinistro se la condizione del join è vuota (SPARK-37917)
  • Tradurre funzioni di aggregazione più standard per il pushdown (SPARK-37527)
  • Supporta la propagazione di una relazione vuota attraverso aggregazione/unione (SPARK-35442)
  • Filtro runtime a livello di riga (SPARK-32268)
  • Supporto del left semi join nei filtri runtime a livello di riga (SPARK-38565)
  • Supporto del pushdown del predicato e dell'eliminazione delle colonne per le CTE deduped (SPARK-37670)
• Vettorizzazione
  • Implementare un oggetto ConstantColumnVector e migliorare le prestazioni dei metadati dei file nascosti (SPARK-37896)
  • Abilitare la lettura vettorializzata per VectorizedPlainValuesReader.readBooleans (SPARK-35867)
• Combinare/rimuovere/sostituire nodi
  • Combinare unioni se è presente un progetto tra di essi (SPARK-37915)
  • Combinare in un unico cast se è possibile eseguire un cast verso l'alto in modo sicuro di due cast (SPARK-37922)
  • Rimuovere l'ordinamento se è figlio di RepartitionByExpression (SPARK-36703)
  • Rimuove il outer join se ha solo DISTINCT sul lato di streaming con alias (SPARK-37292)
  • Sostituire l'hash con l'aggregazione di ordinamento se il figlio è già ordinato (SPARK-37455)
  • Comprimere i progetti solo se non si duplicano espressioni costose (SPARK-36718)
  • Rimuovere gli alias ridondanti dopo RewritePredicateSubquery (SPARK-36280)
  • Unire sottoquery scalari non correlate (SPARK-34079)
• Partizionamento
  • Non aggiungere l'eliminazione dinamica delle partizioni se esiste quella delle partizioni statiche (SPARK-38148)
  • Migliorare RebalancePartitions nelle regole di Optimizer (SPARK-37904)
  • Aggiungere un fattore di partizione di piccole dimensioni per partizioni di ribilanciamento (SPARK-37357)
• Iscriversi
  • Ottimizzare la logica per abbassare di livello il hash join broadcast in DynamicJoinSelection (SPARK-37753)
  • Ignorare le chiavi di join duplicate nella creazione delle relazioni per il join hash modificate SEMI/ANTI (SPARK-36794)
  • Supportare l'ottimizzazione dei join sbilanciati anche se introduce un shuffle aggiuntivo (SPARK-33832)
• AQE
  • Sostenere l'eliminazione dei limiti nell'Optimizer AQE (SPARK-36424)
  • Ottimizzazione del piano di singola riga in modalità normale e AQE Optimizer (SPARK-38162)
• Aggregate.groupOnly supporta espressioni piegabili (SPARK-38489)
• arrayEquals di ByteArrayMethods dovrebbe saltare rapidamente il controllo di allineamento con la piattaforma non allineata (SPARK-37796)
• Aggiungere l'eliminazione del modello di albero alla regola CTESubstitution (SPARK-37379)
• Aggiungi altre semplificazioni degli operatori Not (SPARK-36665)
• Supporto di BooleanType in UnwrapCastInBinaryComparison (SPARK-36607)
• Coalesce elimina tutte le espressioni dopo la prima espressione non nullable (SPARK-36359)
• Aggiungere un visitatore di piano logico per propagare gli attributi distinti (SPARK-36194)

Miglioramenti dei connettori predefiniti

• Generale
  • Serializzazione leniente di datetime dall'origine dati (SPARK-38437)
  • Considerare la posizione della tabella come assoluta quando la prima lettera del percorso è uno slash nel comando create/alter table (SPARK-38236)
  • Rimuovere gli zeri iniziali dalla partizione del tipo di numero statico vuoto (SPARK-35561)
  • Supporto ignoreCorruptFiles e ignoreMissingFiles nelle opzioni origine dati (SPARK-38767)
  • Comando SHOW CATALOGS Aggiungi (SPARK-35973)
• Parquet
  • Abilitare la corrispondenza dei nomi delle colonne dello schema in base agli ID del campo (SPARK-38094)
  • Rimuovere il nome del campo di verifica durante la lettura/scrittura di dati in parquet (SPARK-27442)
  • Supporto alla lettura vettorializzata di valori booleani usando la codifica RLE con Parquet DataPage V2 (SPARK-37864)
  • Supporta la codifica delle pagine dati Parquet v2 (DELTA_BINARY_PACKED) per il percorso vettorializzato (SPARK-36879)
  • Rebase i timestamp nel fuso orario della sessione salvati nei metadati Parquet/Avro (SPARK-37705)
  • Ottimizzare il raggruppamento per colonna di partizione per aggregazione (SPARK-36646)
  • Push-down dell'aggregazione (Min/Max/Count) per Parquet (SPARK-36645)
  • Parquet: abilitare le colonne dello schema corrispondenti per ID di campo (SPARK-38094)
  • Ridurre le dimensioni predefinite della pagina LONG_ARRAY_OFFSET se vengono usati G1GC e ON_HEAP (SPARK-37593)
  • Implementare le codifiche vettoriali DELTA_BYTE_ARRAY e DELTA_LENGTH_BYTE_ARRAY per il supporto di Parquet V2 (SPARK-37974)
  • Supportare tipi complessi per il lettore vettorializzatore Parquet (SPARK-34863)
• ORCO
  • Rimuovere il nome del campo di verifica durante la lettura/scrittura di dati esistenti nel formato Orc (SPARK-37965)
  • Inoltro aggregato verso il basso per ORC (SPARK-34960)
  • Supportare la lettura e la scrittura di intervalli ANSI da/a origini dati ORC (SPARK-36931)
  • Sostenere i nomi delle colonne esclusivamente numerici nelle origini dati ORC (SPARK-36663)
• JSON
  • Considerare allowNonNumericNumbers nell'analisi di valori NaN e Infinity racchiusi tra virgolette nel lettore JSON (SPARK-38060)
  • Utilizzare CAST per le date e ore nei formati CSV/JSON come impostazione predefinita (SPARK-36536)
  • Allineare il messaggio di errore per i tipi di chiave non supportati in MapType nel lettore Json (SPARK-35320)
• CSV
  • Correzione del riferimento alla colonna di record danneggiata da CSV (SPARK-38534)
  • I valori null devono essere salvati come nulla anziché le stringhe vuote "" tra virgolette per impostazione predefinita (SPARK-37575)
• JDBC
  • Aggiungere l'istruzione IMMEDIATE all'implementazione del troncamento del dialetto DB2 (SPARK-30062)
• Hive
  • Supporto per la scrittura di tabelle suddivise in bucket Hive (formati di file Hive con hash Hive) (SPARK-32712)
  • Usare espressioni per filtrare le partizioni Hive sul lato client (SPARK-35437)
  • Supportare la potatura dinamica delle partizioni per HiveTableScanExec (SPARK-36876)
  • InsertIntoHiveDir deve usare l'origine dati se è convertibile (SPARK-38215)
  • Supporto per la scrittura di tabelle bucketizzate Hive (nei formati Parquet/ORC con hash di Hive) (SPARK-32709)

Disattivazione dei nodi

• FallbackStorage non deve tentare di risolvere il nome host arbitrario "remoto" (SPARK-38062)
• ExecutorMonitor.onExecutorRemoved deve gestire ExecutorDecommission come completato (SPARK-38023)

Altre modifiche rilevanti

• Aggiungere un blocco a grana fine a BlockInfoManager (SPARK-37356)
• Supporto del mapping dei tipi di risorse Spark gpu/fpga al tipo di risorsa YARN personalizzato (SPARK-37208)
• Segnala dimensioni accurate del blocco casuale se è sbilanciato (SPARK-36967)
• Supporto della registrazione Netty a livello di rete (SPARK-36719)

Streaming Strutturato

Funzionalità principali

• Introdurre Trigger.AvailableNow per eseguire query di streaming come Trigger.Once in più batch (SPARK-36533)

Altre modifiche rilevanti

• Usare StatefulOpClusteredDistribution per gli operatori con stato rispettando la compatibilità con le versioni precedenti (SPARK-38204)
• Correggere il timeout di flatMapGroupsWithState in batch con i dati per la chiave (SPARK-38320)
• Correzione del problema di correttezza nel join esterno tra flussi utilizzando il provider di archiviazione states RocksDB (SPARK-38684)
• Supporto di Trigger.AvailableNow nell'origine dati Kafka (SPARK-36649)
• Ottimizzare il percorso di scrittura nel provider dell'archivio stati RocksDB (SPARK-37224)
• Introdurre una nuova origine dati per fornire un set coerente di righe per microbatch (SPARK-37062)
• Usare HashClusteredDistribution per operatori con stato rispettando la compatibilità con le versioni precedenti (SPARK-38204)

PySpark

API Pandas su Spark

Miglioramenti principali

• Ottimizzazione dell'indice 'distributed-sequence' come predefinito (SPARK-36559, SPARK-36338)
  • Supporto per specificare il tipo di indice e il nome nell'API pandas in Spark (SPARK-36709)
  • Visualizzare il tipo di indice predefinito nei piani SQL per l'API Pandas in Spark (SPARK-38654)

Funzionalità principali

• Implementare il ps.merge_asof nativo di SparkSQL (SPARK-36813)
• Supporto di TimedeltaIndex nell'API pandas in Spark (SPARK-37525)
• Supportare timedelta di Python (SPARK-37275, SPARK-37510)
• Implementare funzioni in CategoricalAccessor/CategoricalIndex (SPARK-36185)
• Usa il formattatore di stringhe standard di Python per l'API SQL nell'API Pandas in Spark (SPARK-37436)
• Supportare le operazioni di base della Serie/Indice timedelta (SPARK-37510)
• Supporto ps.MultiIndex.dtypes (SPARK-36930)
• Implementare Index.map (SPARK-36469)
• Implementare serie.xor e serie.rxor (SPARK-36653)
• Implementare l'operatore invert unario dell'integrale ps.Series/Index (SPARK-36003)
• Implementare DataFrame.cov (SPARK-36396)
• Supporto di str e timestamp per (Serie|DataFrame).describe() (SPARK-37657)
• Supporto del parametro lambda column di DataFrame.rename(SPARK-38763)

Altre modifiche rilevanti

Cambiamenti radicali

• Eliminare i riferimenti al supporto di Python 3.6 in docs e python/docs (SPARK-36977)
• Rimuovere l'hack di namedtuple sostituendo il pickle incorporato con cloudpickle (SPARK-32079)
• Passare dalla versione minima pandas alla versione 1.0.5 (SPARK-37465)
• Miglioramenti principali
  • Fornire un profiler per le funzioni definite dall'utente (UDF) Python/Pandas (SPARK-37443)
  • Usa il formattatore di stringhe standard di Python per l'API SQL in PySpark (SPARK-37516)
  • Esporre lo stato SQL e la classe di errore nelle eccezioni PySpark (SPARK-36953)
  • Provare a catturare faulthandler quando un processo Python si arresta in modo anomalo (SPARK-36062)

Funzionalità principali

• Implementare DataFrame.mapInArrow in Python (SPARK-37228)
• Usa il formattatore di stringhe standard di Python per l'API SQL in PySpark (SPARK-37516)
• Aggiungere l'API pyspark df.withMetadata (SPARK-36642)
• Supporto della timedelta di Python (SPARK-37275)
• Rendere disponibile tableExists in pyspark.sql.catalog (SPARK-36176)
• Rendere disponibile databaseExists in pyspark.sql.catalog (SPARK-36207)
• Esposizione di functionExists nel catalogo sql pyspark (SPARK-36258)
• Aggiungere Dataframe.observation a PySpark (SPARK-36263)
• Aggiungere API max_by/min_by in PySpark (SPARK-36972)
• Supporto per dedurre la dict annidata come struct durante la creazione di un dataframe (SPARK-35929)
• Aggiungere le API bit/octet_length a Scala, Python e R (SPARK-36751)
• Supporto dell'API ILIKE in Python (SPARK-36882)
• Aggiungere il metodo isEmpty per l'API DataFrame Python (SPARK-37207)
• Aggiungere più colonne aggiungendo il supporto (SPARK-35173)
• Aggiungere SparkContext.addArchive in PySpark (SPARK-38278)
• Rendere le rappresentazioni dei tipi sql eseguibili (SPARK-18621)
• Hint di tipo inline per fpm.py in python/pyspark/mllib (SPARK-37396)
• Implementare dropna il parametro di SeriesGroupBy.value_counts (SPARK-38837)

MLLIB

Funzionalità principali

• Aggiungere il parametro distanceMeasure al trainKMeansModel (SPARK-37118)
• Esporre LogisticRegression.setInitialModel, come KMeans e altri fanno (SPARK-36481)
• Consenti a CrossValidatorModel di ottenere le deviazioni standard delle metriche per ogni paramMap (SPARK-36425)

Miglioramenti principali

• Ottimizzare alcuni treeAggregate in MLlib ritardando le allocazioni (SPARK-35848)
• Riscrivere _shared_params_code_gen.py in hint di tipo inline per ml/param/shared.py (SPARK-37419)

Altre modifiche rilevanti

• Aggiornamento alla versione 1.2 (SPARK-35310)

SparkR

• Eseguire la migrazione della documentazione di SparkR a pkgdown (SPARK-37474)
• Esporre l'espressione make_date in R (SPARK-37108)
• Aggiungere api max_by/min_by a SparkR (SPARK-36976)
• Supporto dell'API ILIKE in R (SPARK-36899)
• Aggiungere sec e csc come funzioni R (SPARK-36824)
• Aggiungere le API bit/octet_length a Scala, Python e R (SPARK-36751)
• Aggiungere cot come funzione R (SPARK-36688)

INTERFACCIA UTENTE

• Riepilogo delle metriche di speculazione a livello di fase (SPARK-36038)
• Tempo di lettura unificato del blocco casuale al tempo di attesa per il recupero in StagePage (SPARK-37469)
• Aggiungere configurazioni modificate per l'esecuzione di SQL nell'interfaccia utente (SPARK-34735)
• Fai riconoscere a ThriftServer spark.sql.redaction.string.regex (SPARK-36400)
• Collegare e avviare il gestore dopo l'avvio dell'applicazione nell'interfaccia utente (SPARK-36237)
• Aggiungi la durata del commit al nodo del diagramma della scheda SQL (SPARK-34399)
• Supporto del back-end RocksDB nel server di cronologia di Spark (SPARK-37680)
• Mostra le opzioni per l'API Pandas in Spark nell'interfaccia utente (SPARK-38656)
• Rinominare 'SQL' in 'SQL/DataFrame' nella pagina dell'interfaccia utente SQL (SPARK-38657)

Costruire

• Migrazione da log4j 1 a log4j 2 (SPARK-37814)
• Aggiornare log4j2 a 2.17.2 (SPARK-38544)
• Eseguire l'aggiornamento a Py4J 0.10.9.5 (SPARK-38563)
• Aggiornare ORC alla versione 1.7.4 (SPARK-38866)
• Aggiornare le tabelle dati alla versione 1.10.25 (SPARK-38924)

Aggiornamenti di manutenzione

Vedere Databricks Runtime 11.0.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.5
• R: 4.1.3
• Delta Lake: 1.2.1

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-05-06.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)