Databricks Runtime 10.3 (EoL)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.3 e Databricks Runtime 10.3 Photon, con tecnologia Apache Spark 3.2.1. Photon è disponibile in anteprima pubblica. Databricks ha rilasciato questa versione nel mese di febbraio 2022.

Miglioramenti e nuove funzionalità

• Gli scrittori Parquet e Avro ora usano il fuso orario della sessione quando ribasano i timestamp nelle origini dati Parquet
• Nuove funzioni in Spark SQL
• Il merge con ridotto rimescolamento è ora generalmente disponibile
• Nuove funzionalità di COPY INTO: modalità di convalida ed evoluzione dello schema
• Le colonne identità sono ora supportate nelle tabelle Delta (anteprima pubblica)

Gli scrittori Parquet e Avro ora usano il fuso orario della sessione quando si ricalcolano i timestamp nelle origini dati di Parquet.

I writer Parquet e Avro ora usano il fuso orario della sessione durante il ribasamento del timestamp in modalità legacy invece di usare il fuso orario JVM predefinito. Il fuso orario della sessione è impostato sul fuso orario JVM per impostazione predefinita.

Nuove funzioni in Spark SQL

In questa versione sono ora supportate le funzioni SPARK SQL seguenti:

• aes_decrypt: decrittografa l'input tramite AES.
• aes_encrypt: crittografa l'input tramite AES.
• contiene: determina se un'espressione contiene un'altra espressione.
• endswith: determina se un'espressione termina con un'altra espressione.
• percentile_cont: restituisce un valore percentile.
• startswith: determina se un'espressione inizia con un'altra espressione.

"Il merge con shuffle ridotto è ora disponibile a livello generale"

Il comando Delta MERGE INTO utilizza una tecnica chiamata fusione a basso rimescolamento, che riduce il rimescolamento delle righe non modificate. Ciò migliora le prestazioni del comando e consente di mantenere il clustering esistente nella tabella, ad esempio l'ordinamento Z. Questa funzionalità è stata introdotta in Databricks Runtime 9.0 per l'anteprima pubblica e ora ha raggiunto la disponibilità generale. Per abilitare il basso shuffle merge, impostare spark.databricks.delta.merge.enableLowShuffle su true. Vedi il basso shuffle merge su Azure Databricks.

Nuove funzionalità di COPY INTO: modalità di convalida ed evoluzione dello schema

Modalità di convalida: COPY INTO ora supporta una modalità VALIDATE in cui i dati da caricare in una tabella vengono convalidati ma non scritti nella tabella. Queste convalide includono:

• Indica se i dati possono essere analizzati.
• Indica se lo schema corrisponde a quello della tabella o se lo schema deve essere evoluto.
• Indica se vengono soddisfatti tutti i vincoli di nullità e di controllo.

Sintassi di esempio:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
VALIDATE [ALL | <num-rows> ROWS]

L'impostazione predefinita consiste nel convalidare tutti i dati da caricare. È possibile specificare una serie di righe da convalidare con la ROWS parola chiave , ad esempio VALIDATE 15 ROWS. L'istruzione COPY INTO restituisce un'anteprima dei dati di 50 righe o minore, quando viene usato un numero minore di 50 con la ROWS parola chiave .

Evoluzione dello schema: COPY INTO supporta ora l'evoluzione dello schema con l'opzione mergeSchema in COPY_OPTIONS. Per sviluppare lo schema di una tabella, è necessario disporre delle autorizzazioni OWN per la tabella.

Sintassi di esempio:

COPY INTO <table>
FROM <path-to-files>
FILEFORMAT = <format>
COPY_OPTIONS ('mergeSchema' = 'true')

Vedere COPY INTO.

Le colonne Identity sono ora supportate nelle tabelle Delta (anteprima pubblica)

Delta Lake supporta ora le colonne Identity. Quando si scrive in una tabella Delta che definisce una colonna Identity e non si specificano valori per tale colonna, Delta assegna ora automaticamente un valore univoco e statisticamente crescente o decrescente. Visualizza CREATE TABLE [UTILIZZANDO].

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • distlib da 0.3.3 a 0.3.4
  • filelock da 3.4.0 a 3.4.2
  • numpy da 1.19.2 a 1.20.1
  • plotly dalla versione 5.3.1 alla 5.5.0
• Librerie R aggiornate:
  • backport da 1.4.0 a 1.4.1
  • brio da 1.1.2 a 1.1.3
  • scopa da 0.7.10 a 0.7.11
  • classe da 7.3-19 a 7.3-20
  • cpp11 da 0.4.1 a 0.4.2
  • DBI da 1.1.1 a 1.1.2
  • devtools dalla versione 2.4.2 alla versione 2.4.3
  • aggiornamento da 0.6.28 a 0.6.29
  • dtplyr da 1.1.0 a 1.2.0
  • fansi da 0.5.0 a 1.0.2
  • estero da 0.8-81 a 0.8-82
  • fs da 1.5.0 a 1.5.2
  • “gert” da versione 1.4.3 a versione 1.5.0
  • colla da 1.5.0 a 1.6.0
  • httpuv da 1.6.3 a 1.6.5
  • jsonlite da 1.7.2 a 1.7.3
  • knitr da 1.36 a 1.37
  • MASS da 7.3-54 a 7.3-55
  • Matrice da 1.3-4 a 1.4-0
  • nlme da 3.1-152 a 3.1-155
  • da nnet frm 7.3-16 a 7.3-17
  • Aggiornamento della versione di OpenSSL da 1.4.5 a 1.4.6
  • parallelamente da 1.29.0 a 1.30.0
  • pkgbuild da 1.2.0 a 1.3.1
  • "pkgload" da 1.2.3 a 1.2.4
  • Aggiornamento di progressr dalla versione 0.9.0 alla versione 0.10.0
  • Rcpp da 1.0.7 a 1.0.8
  • readr dalla versione 2.1.0 alla versione 2.1.1
  • remote dalla versione 2.4.1 alla versione 2.4.2
  • RSQLite da 2.2.8 a 2.2.9
  • sessioninfo dalla versione 1.2.1 alla versione 1.2.2
  • sparklyr dalla versione 1.7.2 alla versione 1.7.4
  • testthat da 3.1.0 a 3.1.1
  • tinytex da 0,35 a 0,36
  • usethis da 2.1.3 a 2.1.5
  • vroom da 1.5.6 a 1.5.7
  • withr da 2.4.2 a 2.4.3
  • xfun da 0.28 a 0.29
  • xml2 dalla versione 1.3.2 alla versione 1.3.3
• Librerie Java aggiornate:
  • dev.ludovic.netlib.arpack da 1.3.2 a 2.2.1
  • dev.ludovic.netlib.blas da 1.3.2 a 2.2.1
  • dev.ludovic.netlib.lapack da 1.3.2 a 2.2.1
  • io.delta.delta-sharing-spark_2.12 da 0.2.0 a 0.3.0

Apache Spark

Databricks Runtime 10.3 include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.2 (EoL), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-37896] [SQL] Implementare un oggetto ConstantColumnVector e migliorare le prestazioni dei metadati dei file nascosti
• [SPARK-37924] [SQL] Ordinare le proprietà della tabella in base alla chiave in SHOW CREATE TABLE in VIEW (v1)
• [SPARK-37636] [SQL] Eseguire la migrazione di CREATE NAMESPACE per usare il comando V2 per impostazione predefinita
• [SPARK-37381] [SQL] Unificare i test v1 e v2 SHOW CREATE TABLE
• [SPARK-37876] [CORE][sql] Sposta SpecificParquetRecordReaderBase.listDirectory in TestUtils
• [SPARK-37854] [CORE] Sostituisci il controllo del tipo con pattern matching nel codice Spark
• [SPARK-36967] [CORE] Riporta dimensioni accurate del blocco di shuffle se è sbilanciato
• [SPARK-37864] [SQL] Permettere la lettura vettorializzata di valori booleani usando la codifica RLE con Parquet DataPage V2
• [SPARK-37862] [SQL] RecordBinaryComparator dovrebbe saltare rapidamente il controllo di allineamento con una piattaforma non allineata
• [SPARK-37855] [SQL] IllegalStateException durante la trasformazione di una matrice all'interno di uno struct annidato
• [SPARK-37858] [SQL] Lanciare SparkRuntimeException con classi di errore dalle funzioni AES
• [SPARK-37841] [SQL] BasicWriteTaskStatsTracker non deve provare a ottenere lo stato per un file ignorato
• [SPARK-37860] [interfaccia utente] Correggere il taskindex nella cronologia degli eventi delle attività della pagina della fase
• [SPARK-36879] [SQL] Supportare la codifica della pagina dati Parquet v2 (DELTA_BINARY_PACKED) per il percorso vettorializzato
• [SPARK-37828] [SQL] Eseguire il push dei filtri tramite RebalancePartitions
• [SPARK-37802] [SQL][3.2] Il nome del campo composito deve funzionare con il push di aggregazione verso il basso
• [SPARK-37826] [SQL] Usare il nome del codec zstd nei nomi di file ORC per hive orc impl
• [SPARK-37820] [SQL] Sostituire ApacheCommonBase64 con JavaBase64 per le funzioni stringa
• [SPARK-37832] [SQL] Convertitore di struct Orc deve usare una matrice per cercare convertitori di campi anziché un elenco collegato
• [SPARK-37786] [SQL] Il supporto di StreamingQueryListener utilizza SQLConf.get per ottenere la SQLConf corrispondente di SessionState
• [SPARK-37527] [SQL] Tradurre ulteriori funzioni di aggregazione standard per il pushdown
• [SPARK-37777] [SQL] Aggiornare la sintassi SQL di SHOW FUNCTIONS
• [SPARK-8582] [CORE] Esegui il checkpoint rapidamente quando richiesto effettivamente
• [SPARK-37822] [SQL] StringSplit deve restituire un array con elementi non null
• [SPARK-37812] [SQL] Quando si deserializza uno struct Orc, riutilizzare la riga del risultato quando possibile
• [SPARK-37367] [SQL] Riabilita il test delle eccezioni nella DDLParserSuite.create view - di base
• [SPARK-37796] [SQL] ByteArrayMethods arrayEquals dovrebbe saltare rapidamente la verifica dell'allineamento con la piattaforma non allineata
• [SPARK-37817] [SQL][minor] Rimuovere il codice non raggiungibile in complexTypeExtractors.scala
• [SPARK-37807] [SQL] Correzione di un errore di digitazione nel messaggio HttpAuthenticationException
• [SPARK-37750] [SQL] Modalità ANSI: facoltativamente restituisce un risultato Null se l'elemento non esiste nella matrice o nella mappa
• [SPARK-37789] [SQL] Aggiungere una classe per rappresentare funzioni di aggregazione generali in DS V2
• [SPARK-37785] [SQL][core] Add Utils.isInRunningSparkTask
• [SPARK-37780] [SQL] Supporto di QueryExecutionListener con SQLConf.get per ottenere la SQLConf corrispondente di SessionState
• [SPARK-37783] [SS][sql][CORE] Abilitare la ricorsione di coda laddove possibile
• [SPARK-37726] [SQL] Aggiungere metriche delle dimensioni di spill per il sort merge join
• [SPARK-37800] [SQL] TreeNode.argString formatta erroneamente gli argomenti di tipo Set[_]
• [SPARK-37716] [SQL] Migliorare i messaggi di errore quando un LateralJoin dispone di espressioni non deterministiche
• [SPARK-37779] [SQL] Rendere il piano ColumnarToRowExec canonizzabile dopo la (de)serializzazione
• [SPARK-37578] [SQL] Aggiornare le metriche delle attività dalle metriche personalizzate di ds v2
• [SPARK-37676] [SQL] Supporto della funzione di aggregazione ANSI: percentile_cont
• [SPARK-37724] [SQL] Modalità ANSI: disabilitare le parole chiave riservate ANSI per impostazione predefinita
• [SPARK-37705] [SQL][3.2] Reimpostare i timestamp nel fuso orario della sessione salvati nei metadati Parquet/Avro
• [SPARK-34755] [SQL] Supportare le utilità per la trasformazione del formato numerico
• [SPARK-36703] [SQL] Rimuovere il sort se è un elemento figlio di RepartitionByExpression
• [SPARK-37369] [SQL] Evitare la transizione ridondante di ColumnarToRow in InMemoryTableScan
• [SPARK-37450] [SQL] Eliminare i campi non necessari da Generate
• [SPARK-37728] [SQL] La lettura di colonne annidate con lettore vettorializzato ORC può causare l'eccezione ArrayIndexOutOfBoundsException
• [SPARK-37564] [SQL] Aggiungere code generation per l'aggregazione ordinata senza chiavi di raggruppamento
• [SPARK-37659] [UI][3.2] Correggere la race condition di FsHistoryProvider tra elenco e eliminazione delle informazioni di log
• [SPARK-37727] [SQL] Mostra configurazioni ignorate & nascondere gli avvisi per configurazioni già impostate in SparkSession.builder.getOrCreate
• [SPARK-37391] [SQL]JdbcConnectionProvider indica se modifica il contesto di sicurezza
• [SPARK-37273] [SQL] Supportare colonne di metadati di file nascoste in Spark SQL
• [SPARK-36876] [SQL] Supportare l'eliminazione delle partizioni dinamiche per HiveTableScanExec
• [SPARK-37546] [SQL] Il comando ReplaceTableAsSelect V2 deve qualificare la posizione
• [SPARK-37545] [SQL] Il comando V2 CreateTableAsSelect dovrebbe qualificare la destinazione
• [SPARK-37707] [SQL] Consenti l'assegnazione dell'archivio e il cast implicito tra i tipi datetime
• [SPARK-37644] [SQL] Supporto del push di aggregazione completo dell'origine dati v2
• [SPARK-37695] [CORE][shuffle] Salta la diagnosi dei blocchi uniti dallo shuffle basato su push
• [SPARK-35295] [ML] Sostituire completamente com.github.fommil.netlib con dev.ludovic.netlib:2.0
• [SPARK-37694] [SQL] Non consentire l'eliminazione di risorse nell'interfaccia della riga di comando Spark SQL CLI
• [SPARK-37330] [SQL] Eseguire la migrazione del comando ReplaceTableStatement alla versione 2
• [SPARK-27974] [SQL] Supporto della funzione di aggregazione ANSI: array_agg
• [SPARK-36902] [SQL] Eseguire la migrazione del comando CreateTableAsSelectStatement alla versione 2
• [SPARK-37678] [PYTHON] Correzione della firma _cleanup_and_return
• [SPARK-37613] [SQL] Supporto della funzione di aggregazione ANSI: regr_count
• [SPARK-37689] [SQL] L'espansione deve essere supportata in PropagateEmptyRelation
• [SPARK-37654] [SQL] Correzione dell'eccezione Null Pointer in Row.getSeq quando il campo è Null
• [SPARK-37496] [SQL] Eseguire la migrazione del comando ReplaceTableAsSelectStatement alla versione 2
• [SPARK-37483] [SQL] Supporto del push verso il basso nella parte superiore N all'origine dati JDBC V2
• [SPARK-37577] [SQL] Correzione: ClassCastException: ArrayType cannot be cast to StructType for Generate Pruning
• [SPARK-37310] [SQL] Eseguire la migrazione di ALTER NAMESPACE ... SET PROPRIETÀ per usare il comando V2 per impostazione predefinita
• [SPARK-37501] [SQL] CREATE/REPLACE TABLE dovrebbe qualificare la posizione per il comando v2
• [SPARK-37343] [SQL] Implementazione di createIndex, IndexExists e dropIndex in JDBC (dialetto Postgres)
• [SPARK-37060] [CORE][3.2] Gestire la risposta dello stato del driver dai master di backup
• [SPARK-37629] [SQL] Accelerare Expression.canonicalized
• [SPARK-37633] [SQL] Il cast di annullamento del wrapping dovrebbe ignorare se il downcast non è riuscito con un...
• [SPARK-37631] [SQL] Eseguire la pulizia del codice per convertire le stringhe al tipo double nelle funzioni matematiche
• [SPARK-37569] [SQL] Non contrassegnare i campi di visualizzazione annidati come nullabili
• [SPARK-37557] [SQL] Sostituire l'hash dell'oggetto con l'aggregazione di ordinamento se il figlio è già ordinato
• [SPARK-36850] [SQL] Eseguire la migrazione di CreateTableStatement al framework dei comandi v2
• [SPARK-37592] [SQL] Migliorare le prestazioni di JoinSelection
• [SPARK-37217] [SQL] Il numero di partizioni dinamiche deve essere verificato in anticipo durante la scrittura in tabelle esterne
• [SPARK-37584] [SQL] Nuova funzione SQL: map_contains_key
• [SPARK-37455] [SQL] Sostituire l'hash con l'aggregazione di ordinamento se figlio è già ordinato
• [SPARK-34735] [SQL][ui] Aggiungere configurazioni modificate per l'esecuzione di SQL nell'interfaccia utente
• [SPARK-37540] [SQL] Rilevare più tempo di viaggio non supportato
• [SPARK-37376] [SQL] Introdurre una nuova interfaccia DataSource V2 HasPartitionKey
• [SPARK-37666] [SQL] Impostare GCM come modalità predefinita in aes_encrypt()/aes_decrypt()
• [SPARK-37573] [SQL] IsolatedClientLoader deve eseguire il fallback alla versione correlata, non sempre hadoop-2.7.4
• [SPARK-37561] [SQL] Evitare il caricamento di tutte le funzioni quando si ottiene il DelegationToken di Hive
• [SPARK-37370] [SQL] Aggiungere configurazioni SQL per controllare la nuova generazione di codice join nella versione 3.3
• [SPARK-37311] [SQL] Eseguire la migrazione di ALTER NAMESPACE ... SET LOCATION per usare di default il comando V2
• [SPARK-37192] [SQL] Eseguire la migrazione SHOW TBLPROPERTIES per usare il comando V2 per impostazione predefinita
• [SPARK-37219] [SQL] Aggiungere il supporto per la sintassi AS OF
• [SPARK-37316] [SQL] Aggiungere la generazione di codice per la giunzione di merge ordinato per esistenza
• [SPARK-37591] [SQL] Supportare la modalità GCM tramite aes_encrypt()/aes_decrypt()
• [SPARK-37586] [SQL] Aggiungere mode e padding agli argomenti di aes_encrypt()/aes_decrypt()
• [SPARK-12567] [SQL] Aggiungere aes_encrypt e aes_decrypt funzioni predefinite
• [SPARK-37392] [SQL] Correggere il bug delle prestazioni durante l'inferenza dei vincoli per Generate
• [SPARK-37481] [Core][webui] Risoluzione del problema dello scomparire delle fasi saltate dopo nuovi tentativi
• [SPARK-37533] [SQL] Nuova funzione SQL: try_element_at
• [SPARK-37451] [SQL] Correzione del tipo stringa di cast al tipo decimale se spark.sql.legacy.allowNegativeScaleOfDecimal è abilitato
• [SPARK-37062] [SS] Introdurre una nuova origine dati per fornire un set coerente di righe per microbatch
• [SPARK-37552] [SQL] Aggiungere la convert_timezone() funzione
• [SPARK-37555] [SQL] spark-sql deve passare l'ultimo commento non chiuso al back-end
• [SPARK-37286] [SQL] Spostare compileAggregates da JDBCRDD a JdbcDialect
• [SPARK-37485] [CORE][sql] Sostituire map con espressioni che non producono risultati con foreach
• [SPARK-37556] [SQL] La classe Deser void non riesce con la serializzazione Java
• [SPARK-37520] [SQL] Aggiungere le startswith() funzioni stringa e endswith()
• [SPARK-37471] [SQL] Supporto per spark-sql nei commenti annidati tra parentesi quadre
• [SPARK-37360] [SQL] Supporto di TimestampNTZ nell'origine dati JSON
• [SPARK-37508] [SQL] Aggiungere la funzione stringa CONTAINS()
• [SPARK-37494] [SQL] Unificare l'output delle opzioni v1 e v2 del SHOW CREATE TABLE comando
• [SPARK-37524] [SQL] È consigliabile eliminare tutte le tabelle dopo il test dell'eliminazione della partizione dinamica.
• [SPARK-37389] [SQL] Controllare i commenti tra parentesi quadre non chiuse
• [SPARK-37220] [SQL] Non dividere il file di input per il lettore Parquet con push di aggregazione verso il basso
• [SPARK-37326] [SQL] Supporto di TimestampNTZ nell'origine dati CSV
• [SPARK-35867] [SQL] Abilitare la lettura vettorializzata per VectorizedPlainValuesReader.readBooleans
• [SPARK-37484] [CORE][sql] Sostituire get e getOrElse con getOrElse
• [SPARK-37492] [SQL] Ottimizzare il codice di test orc con withAllNativeOrcReaders
• [SPARK-37458] [SS] Rimuovere i SerializeFromObject non necessari dal piano di foreachBatch

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.3.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-01-19.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)