Databricks Runtime 10.2 (EoL)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.2 e Databricks Runtime 10.2 Photon, con tecnologia Apache Spark 3.2.0. Databricks ha rilasciato questa versione nel dicembre 2021. Photon è disponibile in anteprima pubblica.

Miglioramenti e nuove funzionalità

• Usare i file nei repository con Spark Streaming
• Databricks Utilities aggiunge un comando di montaggio degli aggiornamenti
• Delta Lake supporta la ridenominazione delle colonne (anteprima pubblica)
• La cronologia delle tabelle Delta Lake aggiunge informazioni sulla versione di Databricks Runtime
• Databricks Utilities aggiunge informazioni sull'ora di modifica più recenti quando sono elencate le directory
• Spark SQL aggiunge una approx_top_k funzione per restituire gli elementi principali e i relativi conteggi
• Trigger.AvailableNow ora disponibile in Python e Scala
• Auto Loader ora supporta l'evoluzione degli schemi per Avro (anteprima pubblica)

Usare file in Repository con Spark Streaming

È ora possibile accedere ai file in Repos da Spark Streaming.

Databricks Utilities aggiunge un comando di montaggio degli aggiornamenti

Il nuovo dbutils.fs.updateMount comando è simile a dbutils.fs.mount, ma questo nuovo comando aggiorna un punto di montaggio esistente anziché crearne uno nuovo. Vedere il comando updateMount (dbutils.fs.updateMount)..

Delta Lake supporta la rinomina delle colonne (versione di anteprima pubblica)

Delta Lake supporta ora la ridenominazione delle colonne. Per rinominare la colonna di una tabella Delta, è necessario aggiornare la versione della tabella Delta e quindi impostare la modalità di mappatura delle colonne sulla mappatura dei nomi. Vedi Rinominare ed eliminare colonne con il mapping delle colonne di Delta Lake.

La cronologia delle tabelle Delta Lake aggiunge informazioni sulla versione di Databricks Runtime

Quando viene eseguita una scrittura in una tabella Delta, vengono registrate anche informazioni sulla versione di Databricks Runtime che ha eseguito la scrittura. Per ottenere le informazioni sulla versione, eseguire il DESCRIBE HISTORY comando nella tabella e quindi visualizzare la engineInfo colonna nell'output. Vedere DESCRIBE HISTORY e Usare la cronologia delle tabelle.

Databricks Utilities aggiunge informazioni sull'ora di modifica più recenti quando sono elencate le directory

Il dbutils.fs.ls comando per elencare il contenuto di una directory restituisce ora un modificationTime campo. Questo campo contiene l'ora di modifica più recente per ogni file o directory elencata. Consultare il comando ls (dbutils.fs.ls).

Spark SQL aggiunge una approx_top_k funzione per restituire gli elementi principali e i relativi conteggi

La nuova approx_top_k funzione restituisce i valori degli elementi più frequenti, insieme ai relativi conteggi approssimativi, per l'espressione specificata. Alcuni esempi includono:

df = spark.sql('SELECT approx_top_k(col, 10, 100) FROM VALUES (0), (1), (1), (2), (2), (2) AS tab(col)')

display(df)

import pyspark.sql.functions as F

df = spark.createDataFrame([
       (0,), (1,), (1,), (2,), (2,), (2,)
     ]).select(F.expr('approx_top_k(_1, 10)'))

display(df)

Il risultato dell'esecuzione di uno degli esempi è:

[{"item": 2, "count": 3}, {"item": 1, "count": 2}, {"item": 0, "count": 1}]

Vedere la funzione di aggregazione approx_top_ke.

Trigger.AvailableNow ora disponibile in Python e Scala

Questa modifica supporta le query di streaming con origine Delta Trigger.AvailableNow sia in Python che in Scala. Databricks Runtime 10.1 ha introdotto il supporto per questo trigger in Scala. Databricks Runtime 10.2 ora supporta anche questo trigger in Python. Vedere informazioni su Trigger.AvailableNow in Che cos'è il caricatore automatico?.

Il sistema di caricamento automatico ora supporta l'evoluzione dello schema per Avro (Anteprima Pubblica)

Vedere Configurare l'inferenza e l'evoluzione dello schema in Auto Loader.

Aggiornamenti della libreria

• Librerie Python aggiornate:
  • filelock dalla versione 3.3.1 alla versione 3.4.0
  • tracciato da 5.3.0 a 5.3.1
• Librerie R aggiornate:
  • base da 4.1.1 a 4.1.2
  • compilatore da 4.1.1 a 4.1.2
  • set di dati da 4.1.1 a 4.1.2
  • grafica da 4.1.1 a 4.1.2
  • grDevices da 4.1.1 a 4.1.2
  • griglia da 4.1.1 a 4.1.2
  • metodi da 4.1.1 a 4.1.2
  • versione parallela da 4.1.1 a 4.1.2
  • Rserve da 1.8-8 a 1.8-10
  • spline dalla versione 4.1.1 alla versione 4.1.2
  • statistiche da 4.1.1 a 4.1.2
  • stats4 da 4.1.1 a 4.1.2
  • tcltk da 4.1.1 a 4.1.2
  • strumenti da 4.1.1 a 4.1.2
  • Utilità dalla versione 4.1.1 alla versione 4.1.2
  • il backport da 1.2.1 a 1.4.0
  • scopa da 0.7.9 a 0.7.10
  • cli da 3.0.1 a 3.1.0
  • cpp11 da 0.4.0 a 0.4.1
  • crayon da 1.4.1 a 1.4.2
  • credenziali dalla versione 1.3.1 alla versione 1.3.2
  • futuro da 1.22.1 a 1.23.0
  • aggiornamento della versione gert da 1.4.1 a 1.4.3
  • glmnet da 4.1-2 a 4.1-3
  • aggiornamento della libreria glue dalla versione 1.4.2 alla 1.5.0
  • memoise da 2.0.0 a 2.0.1
  • parallelamente da 1.28.1 a 1.29.0
  • readr dalla versione 2.0.2 alla versione 2.1.0
  • sessioninfo da 1.1.1 a 1.2.1
  • stringi da 1.7.5 a 1.7.6
  • tibble da 3.1.5 a 3.1.6
  • tinytex da 0,34 a 0,35
  • tzdb da 0.1.2 a 0.2.0
  • usethis da 2.1.2 a 2.1.3
  • uuid da 0.1-4 a 1.0-3
  • vroom da 1.5.5 a 1.5.6
  • xfun da 0.27 a 0.28
• Librerie Java aggiornate:
  • com.fasterxml.jackson da 2.12.2 a 2.12.3
  • io.airlift.aircompressor da 0.19 a 0.21
  • io.netty.netty-all da 4.1.63.Final a 4.1.68.Final
  • joda-time.joda-time da 2.10.5 a 2.10.10
  • org.apache.commons.commons-compress da 1.20 a 1.21
  • org.apache.orc da 1.6.10 a 1.6.12
  • org.eclipse.jetty da 9.4.40.v20210413 a 9.4.43.v20210629
  • org.scalanlp.breeze-macros_2.12 da 1.0 a 1.2
  • org.scalanlp.breeze_2.12 da 1.0 a 1.2
  • org.org.typelevel.algebra_2.12 dalla versione 2.0.0 alla versione 2.0.1
  • org.typelevel.cats-kernel_2.12 da 2.0.0 a 2.0.1

Apache Spark

Databricks Runtime 10.2 include Apache Spark 3.2.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.1 (EoL), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-37447] [SQL] Memorizza il risultato di LogicalPlan.isStreaming() in una lazy val
• [SPARK-37468] [SQL] Supportare intervalli ANSI e TimestampNTZ per UnionEstimation
• [SPARK-37464] [SQL] SCHEMA e DATABASE devono essere semplicemente alias di NAMESPACE
• [SPARK-37452] [SQL] Char e Varchar interrompono la compatibilità con le versioni precedenti tra v3.1 e v2
• [SPARK-36861] [SQL] Usare yyyy-MM-dd come modello di data nell'individuazione delle partizioni
• [SPARK-37456] [SQL] CREATE NAMESPACE dovrebbe specificare la posizione per il comando v2
• [SPARK-37357] [SQL] Aggiungere un fattore di partizione di piccole dimensioni per ribilanciare le partizioni
• [SPARK-37446] [SQL] Usare la reflection per getWithoutRegisterFns per supportare versioni differenti di Hive nella compilazione
• [SPARK-37444] [SQL] ALTER NAMESPACE ... SET LOCATION deve gestire la posizione vuota in modo coerente tra i comandi v1 e v2
• [SPARK-36357] [SQL] Supporto del timestamp pushdown senza fuso orario per orc
• [SPARK-36346] [SQL] Supporto del tipo TimestampNTZ nell'origine file Orc
• [SPARK-36646] [SQL] Ottimizzare il raggruppamento della colonna di partizione per l'aggregazione
• [SPARK-34960] [SQL] Push di aggregazione verso il basso per ORC
• [SPARK-37386] [SQL] Semplificare OptimizeSkewedJoin per non eseguire l'analizzatore dei costi
• [SPARK-36073] [SQL] Correzioni e miglioramenti di EquivalentExpressions
• [SPARK-35352] [SQL] Aggiungere la generazione di codice per l'unione completa di ordinamento esterno
• [SPARK-37292] [SQL] Rimuove l'outer join se ha solo DISTINCT sul lato trasmesso con alias
• [SPARK-37371] [SQL] UnionExec deve supportare il formato columnare se tutti i figli supportano il formato columnare
• [SPARK-36645] [SQL] Spinta verso il basso dell'aggregazione (Min/Max/Count) per Parquet
• [SPARK-37379] [SQL] Aggiungere l'eliminazione del pattern ad albero alla regola CTESubstitution
• [SPARK-37332] [SQL] Consenti intervalli ANSI in ALTER TABLE .. ADD COLUMNS
• [SPARK-37224] [SS] Ottimizzare il percorso di scrittura nel provider dell'archivio stati RocksDB
• [SPARK-37304] [SQL] Consenti intervalli ANSI nella versione 2 ALTER TABLE .. REPLACE COLUMNS
• [SPARK-36924] [SQL] CAST tra intervalli ANSI e IntegralType
• [SPARK-37289] [SQL] Rimuovi partitionSchemaOption function
• [SPARK-37270] [SQL] Correzione del push piegabile nei rami CaseWhen se elseValue è vuoto
• [SPARK-35345] [SQL] Aggiungere test Parquet a BloomFilterBenchmark
• [SPARK-37341] [SQL] Evitare buffer non necessari e copiare un join di tipo merge esterno completo
• [SPARK-37266] [SQL] La visualizzazione del testo può essere SELECT solo query
• [SPARK-37288] [PYTHON][3.2] Retroportazione a seguito dell'aggiornamento dell'annotazione
• [SPARK-37262] [SQL] Non registrare aggregazioni e gruppi vuoti in JDBCScan
• [SPARK-37283] [SQL] Non provare a archiviare una tabella V1 che contiene intervalli ANSI in formato compatibile con Hive
• [SPARK-37221] [SQL] L'API di tipo collect in SparkPlan deve supportare l'output a colonne
• [SPARK-37202] [SQL] Usare AnalysisContext per tenere traccia delle funzioni temporanee di riferimento
• [SPARK-37023] [CORE] Evitare di recuperare lo stato di unione quando shuffleMergeEnabled è false per un oggetto shuffleDependency durante un nuovo tentativo
• [SPARK-37307] [CORE] Non ottenere la connessione JDBC per le partizioni vuote
• [SPARK-37267] [SQL] OptimizeSkewInRebalancePartitions supporta l'ottimizzazione del nodo non radice
• [SPARK-36799] [SQL] Passare il nome di queryExecution nella CLI
• [SPARK-37261] [SQL] Consentire l'aggiunta di partizioni con intervalli ANSI in DSv2
• [SPARK-37203] [SQL] Correzione di NotSerializableException quando si osserva con TypedImperativeAggregate
• [SPARK-37199] [SQL] Aggiungere un campo deterministico a QueryPlan
• [SPARK-37253] [PYTHON] try_simplify_traceback non dovrebbe fallire quando tb_frame.f_lineno è null
• [SPARK-37214] [SQL] Interrompere anticipatamente l'analisi delle query in caso di identificatori non validi
• [SPARK-37240] [SQL] Gestire gli intervalli ANSI per ColumnVectorUtils.populate()
• [SPARK-35437] [SQL] Usare espressioni per filtrare le partizioni Hive sul lato client
• [SPARK-32940] [SQL] Collect, first e last devono essere funzioni di aggregazione deterministiche
• [SPARK-37231] [SQL] Scritture dinamiche/letture di partizioni a intervalli ANSI
• [SPARK-37038] [SQL] Abbassamento campione DSV2
• [SPARK-36665] [SQL] Aggiungere altre semplificazioni dell'operatore Not
• [SPARK-37150] [SQL] Migrare il comando DESCRIBE NAMESPACE per usare per impostazione predefinita il comando V2
• [SPARK-37196] [SQL] HiveDecimal enforcePrecisionScale non è riuscito a restituire null
• [SPARK-37212] [SQL] Migliorare l'implementazione del pushdown aggregato.
• [SPARK-37190] [SQL] Migliorare i messaggi di errore per Cast in modalità ANSI
• [SPARK-37161] [SQL] Supporto del RowToColumnConverter per AnsiIntervalType
• [SPARK-37160] [SQL] Aggiungere una configurazione per disabilitare facoltativamente la spaziatura interna per il tipo char
• [SPARK-36554] [SQL][python] Esporre l'espressione make_date in functions.scala
• [SPARK-37200] [SQL] Supporto per l'eliminazione dell'indice per l'origine dati V2
• [SPARK-37179] [SQL] Modalità ANSI: aggiungere una configurazione per consentire il cast tra Datetime e Numeric
• [SPARK-37168] [SQL] Migliorare i messaggi di errore per funzioni e operatori SQL in modalità ANSI
• [SPARK-36935] [SQL] Estendere ParquetSchemaConverter per calcolare il livello di ripetizione e di definizione di Parquet
• [SPARK-37066] [SQL] Miglioramento del messaggio di errore per visualizzare il percorso del file quando non è stato possibile leggere il file successivo
• [SPARK-32567] [SQL] Aggiungere la generazione del codice per il full outer shuffled hash join
• [SPARK-37176] [SQL] Sincronizza la logica di gestione delle eccezioni del metodo JsonInferSchema#infer con il metodo JacksonParser#parse
• [SPARK-37149] [SQL] Migliorare i messaggi di errore per le eccezioni aritmetiche di overflow in modalità ANSI
• [SPARK-37136] [SQL] Rimuovere il codice sulla funzione di compilazione hive ma non implementare in Spark
• [SPARK-16280][SPARK-37082] [SQL] Implementa la funzione di aggregazione histogram_numeric che supporta l'aggregazione parziale.
• [SPARK-36975] [SQL] Correggere le metriche relative alle chiamate del client Hive in HiveClientImpl

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 20.04.3 LTS
• Java: Zulu 8.58.0.13-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2021-11-30.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)