Databricks Runtime 7.1 (EoL)

Databricks ha rilasciato questa versione a luglio 2020.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 7.1, basate su Apache Spark 3.0.

Nuove funzionalità

Databricks Runtime 7.1 include le nuove funzionalità seguenti:

Delta Lake

• È ora possibile impostare i metadati definiti dall'utente in ogni commit eseguito dalle operazioni Delta. Per informazioni dettagliate, vedere Arricchire le tabelle con metadati personalizzati.

• È ora possibile eseguire una query sulla configurazione SQL spark.databricks.delta.lastCommitVersionInSession per ottenere la versione dell'ultimo commit scritto dall'entità corrente SparkSession.

  Se non sono stati eseguiti commit da SparkSession, l'esecuzione della query sulla chiave restituisce un valore vuoto. Questa funzionalità non è supportata nei casi di streaming o multithreading.

• CONVERT TO DELTA può ora convertire le tabelle Parquet create da Structured Streaming usando il log delle transazioni presente nella _spark_metadata cartella . In questo modo, i file di cui non è stato eseguito il commit tramite la query di streaming non vengono considerati nella tabella Delta. È quindi possibile continuare il flusso usando la stessa posizione del checkpoint.

  Nota

  C'è una piccola possibilità che i dati dell'ultimo micro-batch vengano di nuovo salvati nella tua tabella dopo il processo di conversione.

• Questa versione contiene miglioramenti delle prestazioni per le operazioni MERGE INTO che hanno solo clausole corrispondenti. Cioè, hanno solo azioni UPDATE e DELETE e nessuna azione INSERT.

Comandi pip per supportare le librerie Python specifiche per il notebook

A partire da Databricks Runtime 7.1, è possibile usare %pip i comandi per gestire le librerie Python installate in una sessione di notebook. Per altre informazioni, vedere Librerie Python con ambito Notebook.

Miglioramenti

• Aggiunge un display metodo ai dataframe PySpark, pandas e Koalas, quindi è ora possibile eseguire df.display() per un'analisi esplorativa più semplice dei dati. Vedere Creare una nuova visualizzazione.
• Koalas è ora installato.

Apache Spark

Databricks Runtime 7.1 include Apache Spark 3.0.0. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 7.0 (EoL), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-32057] ExecuteStatement: l'annullamento e la chiusura non devono essere temporaneamente ERROR
• [SPARK-32167] [SQL] Correzione di GetArrayStructFields per rispettare la nullabilità dei campi interni nel loro insieme
• [SPARK-31935] La configurazione del file system Hadoop deve essere efficace nelle opzioni delle fonti dati
• [SPARK-32038] [SQL] NormalizeFloatingNumbers deve funzionare anche su un'aggregazione distinta
• [SPARK-31705] [SQL] Eseguire il push di predicati più possibili tramite join tramite la conversione CNF
• [SPARK-31945] [SQL][pyspark] Abilitare la cache per la stessa funzione Python
• [SPARK-8981] [CORE] Aggiungere il supporto MDC in Executor
• [SPARK-31986] [SQL] Riprogrammazione dei microsecondi giuliano-gregoriani per la sovrapposizione di timestamp locali
• [SPARK-31959] [SQL] Correzione della ricalibrazione dei microsecondi gregoriano-juliano durante la modifica dell'offset del fuso orario standard
• [SPARK-26905] [SQL] Seguire le parole chiave riservate di SQL:2016
• [SPARK-31990] [SS] Usare toSet.toSeq in Dataset.dropDuplicates
• [SPARK-31992] [SQL] Eseguire il benchmark della modalità rebase EXCEPTION
• [SPARK-31983] [WEBUI] Correzione dell'ordinamento per la colonna duration nella scheda Structured Streaming
• [SPARK-31593] [SS] Rimuovere l'aggiornamento del progresso delle query di streaming non necessario
• [SPARK-31968] [SQL] Colonne di partizione duplicate controllano quando si scrivono dati
• [SPARK-31632] [CORE][webui] Arricchire il messaggio di eccezione quando il riepilogo dell'applicazione non è disponibile
• [SPARK-31916] [SQL] StringConcat può portare a StringIndexOutOfBoundsException
• [SPARK-31935] [SQL] La configurazione del file system Hadoop deve essere efficace nelle opzioni dell'origine dati
• [SPARK-31954] [SQL] Elimina casi di test duplicati in HiveQuerySuite
• [SPARK-28199] [SS] Rimuovere il pacchetto privato nella classe/oggetto nel pacchetto sql.execution
• [SPARK-31956] [SQL] Non avere esito negativo se non è presente un self join ambiguo
• [SPARK-31941] [CORE] Sostituisci SparkException con NoSuchElementException per applicationInfo in AppStatusStore
• [SPARK-26905] [SQL] Aggiungere TYPE nell'elenco ANSI non riservato
• [SPARK-31921] [CORE] Correzione dell'avviso errato: "App app-xxx richiede più risorse di qualsiasi tipo di ruoli di lavoro"
• [SPARK-31220] [SQL] la ripartizione rispetta initialPartitionNum quando adaptiveExecutionEnabled è abilitato.
• [SPARK-29295] [SQL] La mappa di partizione dinamica analizzata dal percorso della partizione deve non fare distinzione tra maiuscole e minuscole
• [SPARK-31849] [PYTHON][sql] Messaggio di errore più corretto nel messaggio di eccezione UDF python
• [SPARK-31923] [CORE] Ignorare gli accumulatori interni che usano tipi non riconosciuti anziché evitare il blocco
• [SPARK-31849] [PYTHON][sql] Deduplicare e riutilizzare Utils.exceptionString nella gestione delle eccezioni Python

Aggiornamenti di manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 7.1.

Ambiente di sistema

• Sistema operativo: Ubuntu 18.04.4 LTS
• Java: 1.8.0_252
• Scala: 2.12.10
• Python: 3.7.5
• R: R versione 3.6.3 (2020-02-29)
• Delta Lake 0.7.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2020-04-22.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)