Databricks Runtime 16.2 (EoS)

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 16.2, basate su Apache Spark 3.5.2.

Databricks ha rilasciato questa versione nel mese di febbraio 2025.

Modifiche comportamentali

ANALIZZA ora ignora le colonne con tipi non supportati.

ANALYZE TABLE non genera più un messaggio di errore quando viene eseguito in una tabella con tipi non supportati, ad esempio ARRAY o MAP. Le colonne non supportate vengono ora ignorate automaticamente. Gli utenti che hanno implementato la logica che prevede questi errori devono aggiornare il codice.

In Condivisione Delta la cronologia delle tabelle è abilitata per impostazione predefinita

Le condivisioni create con il comando SQL ALTER SHARE <share> ADD TABLE <table> ora hanno la condivisione della cronologia (WITH HISTORY) abilitata per impostazione predefinita. Vedi ALTER SHARE.

Le istruzioni SQL delle credenziali restituiscono un errore quando si verifica una mancata corrispondenza del tipo di credenziale

Con questa versione, se il tipo di credenziale specificato in un'istruzione SQL di gestione delle credenziali non corrisponde al tipo dell'argomento delle credenziali, viene restituito un errore e l'istruzione non viene eseguita. Ad esempio, per l'istruzione DROP STORAGE CREDENTIAL 'credential-name', se credential-name non è una credenziale di archiviazione, l'istruzione ha esito negativo con un errore.

Questa modifica viene apportata per evitare errori utente. In precedenza, queste istruzioni venivano eseguite correttamente, anche se è stata passata una credenziale che non corrisponde al tipo di credenziale specificato. Ad esempio, l'istruzione seguente elimina correttamente storage-credential: DROP SERVICE CREDENTIAL storage-credential.

Questa modifica influisce sulle dichiarazioni seguenti:

• DROP CREDENTIAL
• ALTER CREDENTIAL
• DESCRIBE CREDENTIAL
• GRANT… SU... CREDENZIALI
• REVOKE… SU... CREDENZIALI
• SHOW GRANTS SU... CREDENZIALE

Miglioramenti e nuove funzionalità

• Creare applicazioni con stato personalizzate con transformWithState
• Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio
• L'accesso regolamentato dal Unity Catalog ai servizi cloud esterni che usano le credenziali del servizio è ora disponibile per tutti
• I notebook sono supportati come file dello spazio di lavoro
• Usare timestampdiff e timestampadd nelle espressioni di colonna generate
• Supporto per la sintassi della pipeline SQL
• Effettuare una richiesta HTTP usando la http_request funzione
• L'aggiornamento a DESCRIBE TABLE restituisce i metadati come JSON strutturato
• Collazioni insensibili agli spazi finali
• Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate
• Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi foreachSpark Scala , foreachBatche flatMapGroupsWithState

Creare applicazioni con stato personalizzate con transformWithState

Ora puoi utilizzare transformWithState e le API correlate per implementare applicazioni stateful personalizzate come parte delle query di Streaming Strutturato. Vedere Creare un'applicazione con stato personalizzata.

Eseguire l'autenticazione nell'archiviazione di oggetti cloud con le credenziali del servizio

È ora possibile usare le credenziali del servizio Databricks per eseguire l'autenticazione nell'archiviazione di oggetti cloud con il caricatore automatico. Consultare Configurare flussi di Auto Loader in modalità di notifica file.

L'accesso regolamentato dal catalogo unity ai servizi cloud esterni che usano le credenziali del servizio è ora disponibile a livello generale

Le credenziali del servizio consentono l'autenticazione semplice e sicura con i servizi del tenant cloud di Azure Databricks. Con Databricks Runtime 16.2, le credenziali del servizio sono disponibili a livello generale e ora supportano gli SDK Scala, oltre all'SDK Python supportato nell'anteprima pubblica. Vedere Creare le credenziali del servizio.

I notebook sono supportati come file dell'area di lavoro

In Databricks Runtime 16.2 e versioni successive i notebook sono supportati come file dell'area di lavoro. È ora possibile interagire a livello di codice con i notebook da qualsiasi posizione in cui è disponibile il file system dell'area di lavoro, tra cui la scrittura, la lettura e l'eliminazione di notebook come qualsiasi altro file. Per altre informazioni, vedere Creare, aggiornare ed eliminare file ed directory a livello di codice.

Usare la timestampdiff & timestampadd nelle espressioni di colonna generate

In Databricks Runtime 16.2 e versioni successive è possibile usare le funzioni timestampdiff e timestampadd nelle espressioni di colonna generate da Delta Lake. Consulta Colonne generate da Delta Lake.

Supporto per la sintassi della pipeline SQL

In Databricks Runtime 16.2 e versioni successive è possibile comporre pipeline SQL. Una pipeline SQL struttura una query standard, ad esempio SELECT c2 FROM T WHERE c1 = 5, in una sequenza dettagliata, come illustrato nell'esempio seguente:

FROM T
|> SELECT c2
|> WHERE c1 = 5

Per informazioni sulla sintassi supportata per le pipeline SQL, vedere Sintassi delle pipeline SQL.

Per informazioni generali su questa estensione tra settori, vedere SQL presenta problemi. Possiamo correggerli: sintassi pipe in SQL (di Google Research).

Effettuare una richiesta HTTP usando la http_request funzione

In Databricks Runtime 16.2 e versioni successive è possibile creare connessioni HTTP e tramite di esse effettuare richieste HTTP usando la funzione http_request .

L'aggiornamento a DESCRIBE TABLE restituisce i metadati come JSON strutturato

In Databricks Runtime 16.2 e versioni successive è possibile usare il DESCRIBE TABLE AS JSON comando per restituire i metadati della tabella come documento JSON. L'output JSON è più strutturato del report leggibile predefinito e può essere usato per interpretare lo schema di una tabella a livello di codice. Per altre informazioni, vedere DESCRIBE TABLE AS JSON.

Collazioni insensibili agli spazi finali

Databricks Runtime 16.2 aggiunge il supporto per le regole di confronto senza distinzione finale, aggiungendo al supporto delle regole di confronto aggiunto in Databricks Runtime 16.1. Ad esempio, queste regole di confronto considerano 'Hello' e 'Hello ' come uguali. Per altre informazioni, vedere regole di confronto RTRIM.

Convertire tabelle Apache Iceberg con partizionamento di bucket in tabelle Delta non partizionate

Le istruzioni CONVERT TO DELTA e CREATE TABLE CLONE ora supportano la conversione di una tabella Apache Iceberg con il partizionamento a secchi in una tabella Delta non partizionata.

Il calcolo della modalità di accesso standard (in precedenza modalità di accesso condiviso) supporta ora i metodi foreachSpark Scala , foreachBatche flatMapGroupsWithState

In Databricks Runtime 16.2 e versioni successive, il calcolo della modalità di accesso standard supporta ora i metodi DataStreamWriter.foreachBatch Scala e KeyValueGroupedDataset.flatMapGroupsWithState. In Databricks Runtime 16.1 e versioni successive, il calcolo della modalità di accesso standard supporta ora il metodo DataStreamWriter.foreachScala .

Correzioni di bug

Miglioramento dell'elaborazione incrementale dei cloni

Questa versione include una correzione per un caso perimetrale in cui un CLONE incrementale potrebbe copiare nuovamente i file già copiati da una tabella di origine a una tabella di destinazione. Per ulteriori informazioni, vedi Clonare una tabella in Azure Databricks.

Aggiornamenti della libreria

• Librerie Python aggiornate:
• Librerie R aggiornate:
• Librerie Java aggiornate:
  • org.json4s.json4s-ast_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-core_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-jackson_2.12 da 3.7.0-M11 a 4.0.7
  • org.json4s.json4s-scalap_2.12 da 3.7.0-M11 a 4.0.7

Apache Spark

Databricks Runtime 16.2 include Apache Spark 3.5.2. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 16.1 (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

• [SPARK-49966] Ripristinare "[SC-179501][sql] Usare Invoke per implementare JsonToStructs(from_json)"
• [SPARK-50904] [SC-186976][sql] Correzione dell'esecuzione della query del cursore di espressioni di ordinamento
• [SPARK-49666] [SQL] Abilitare i test di taglio per l'espressione InSet
• [SPARK-50669] [SC-184566][es-1327450][SQL] Modificare la firma di TimestampAdd expression
• [SPARK-50795] [16.x][sc-186719][SQL] Archiviare il timestamp come long tipo in describe LinkedHashMap
• [SPARK-50870] [SC-186950][sql] Aggiungere il fuso orario durante il cast al timestamp in V2ScanRelationPushDown
• [SPARK-50735] [SC-186944][connect] Errore in ExecuteResponseObserver genera richieste di ricollegamento infinite
• [SPARK-50522] [SC-186500][sql] Supporto per collazione indeterminata
• [SPARK-50525] [SC-186058][sql] Definire la Regola dell'Ottimizzatore InsertMapSortInRepartitionExpressions
• [SPARK-50679] [SC-184572][sql] Le espressioni comuni duplicate in diverse con devono essere proiettate una sola volta
• [SPARK-50847] [SC-186916] [SQL] Impedire a ApplyCharTypePadding di applicarsi su espressioni In specifiche
• [SPARK-50714] [SC-186786][sql][SS] Abilitare l'evoluzione dello schema per TransformWithState quando viene usata la codifica Avro
• [SPARK-50795] [SC-186390][sql] Visualizzare tutte le date del comando DESCRIBE AS JSON in formato ISO-8601 e i tipi come dataType.simpleString
• [SPARK-50561] [SC-185924][sql] Databricks Runtime 16.x cherrypick: Migliorare la coercizione dei tipi e il controllo dei limiti per la funzione UNIFORM SQL
• [SPARK-50700] [SC-184845][sql] spark.sql.catalog.spark_catalog supporta builtin il valore magico
• [SPARK-50831] [SC-186736][sql] Abilitare la collazione di trimming per impostazione predefinita
• [SPARK-50263] [SC-186793][connect] Sostituire System.currentTimeMillis con System.nanoTime
• [SPARK-48730] [SC-184926][sql] Implementa CreateSQLFunctionCommand per funzioni scalari e tabelle SQL
• [SPARK-50830] [SC-186718] [SQL] Restituire un risultato a passaggio singolo come risultato dell'analisi a esecuzione doppia
• [SPARK-50707] [SC-186098][sql] Abilitare la conversione a/da char/varchar
• [SPARK-49490] [SC-182137][sql] Aggiungere benchmark per initCap
• [SPARK-50529] [SC-184535][sql] Modificare il comportamento char/varchar nella spark.sql.preserveCharVarcharTypeInfo configurazione
• [SPARK-49632] [SC-184179][sql] Rimuovere il suggerimento di configurazione ANSI in CANNOT_PARSE_TIMESTAMP
• [SPARK-50815] [SC-186487][python][SQL] Correzione del bug in cui il passaggio di varianti Null in createDataFrame causa l'esito negativo e l'aggiunta del supporto Variant in createDataFrame in Spark Connect
• [SPARK-50828] [SC-186493][python][ML][connect] Sconsigliare l'uso di pyspark.ml.connect
• [SPARK-50600] [SC-186057][connect][SQL] Imposta analizzato su errore di analisi
• [SPARK-50824] [SC-186472][python] Evitare di importare pacchetti Python facoltativi per il controllo
• [SPARK-50755] [SC-185521][sql] Visualizzazione visivamente attraente del piano per InsertIntoHiveTable
• [SPARK-50789] [SC-186312][connect] Gli input per le aggregazioni tipate devono essere analizzati
• [SPARK-50791] [SC-185867][sc-186338][SQL] Correggi NPE nella gestione degli errori del State Store
• [SPARK-50801] [SC-186365] [SQL] Migliorare PlanLogger.logPlanResolution per visualizzare solo piani irrisolti e risolti
• [SPARK-50749] [SC-185925][sql] Correzione del bug di ordinamento nel metodo CommutativeExpression.gatherCommutative
• [SPARK-50783] [SC-186347] Canonizzare il nome e il layout dei risultati del profiler JVM su DFS
• [SPARK-50790] [SC-186354][python] Implementare l'analisi di JSON in pyspark
• [SPARK-50738] [SC-184856][python] Aggiorna black a 23.12.1
• [SPARK-50764] [SC-185930][python] Perfezionare la documentazione dei metodi correlati a xpath
• [SPARK-50798] [SC-186277][sql] Migliorare NormalizePlan
• [SPARK-49883] [SC-183787][ss] Integrazione della struttura del checkpoint dello State Store V2 con RocksDB e RocksDBFileManager
• [SPARK-50779] [SC-186062][sql] Aggiunta del flag di funzionalità per le regole di confronto a livello di oggetto
• [SPARK-50778] [SC-186183][python] Aggiungere la colonna di metadati a PySpark DataFrame
• [SPARK-49565] [SC-186056][sql] Databricks Runtime 16.x cherrypick: Migliorare gli alias di espressione generati automaticamente con operatori SQL pipe
• [SPARK-50541] [16.x][sc-184937] Descrivere la tabella come JSON
• [SPARK-50772] [SC-185923][sql] Cherrypick di Databricks Runtime 16.x: Conservare gli alias delle tabelle dopo gli operatori SET, EXTEND, DROP
• [SPARK-50769] [SC-185919][sql] Fix ClassCastException in HistogramNumeric
• [SPARK-49025] [SC-174667] Sincronizza differenze del codice Delta nel Databricks Runtime
• [SPARK-50752] [SC-185547][python][SQL] Introdurre configurazioni per regolare Python UDF senza Arrow
• [SPARK-50705] [SC-185944][sql] Rendere QueryPlan privo di blocchi
• [SPARK-50690] [16.x][sc-184640][SQL] Correzione della discrepanza nella DESCRIBE TABLE visualizzazione delle colonne di output delle query tra virgolette
• [SPARK-50746] [SC-184932][sql] Sostituire con VariantPathSegment.
• [SPARK-50715] [SC-185546][python][CONNECT] SparkSession.Builder imposta le configurazioni in batch
• [SPARK-50480] [SC-183359][sql] Estendere CharType e VarcharType da StringType
• [SPARK-50675] [SC-184539][sql] Supporto delle collazioni a livello di tabella e vista
• [SPARK-50409] [SC-184516][sql] Correzione dell'istruzione set per ignorare ; alla fine di SET;, SET -v; e SET key;
• [SPARK-50743] [SC-185528][sql] Normalizzare gli ID di CTERelationDef e CTERelationRef
• [SPARK-50693] [SC-184684][connect] Gli input per TypedScalaUdf devono essere analizzati
• [SPARK-50744] [SC-184929][sql] Aggiungere un caso di test per la precedenza nella risoluzione dei nomi di view/CTE
• [SPARK-50710] [SC-184767][connect] Aggiungere il supporto per la riconnessione client facoltativa alle sessioni dopo il rilascio
• [SPARK-50703] [SC-184843][python] Perfezionare il docstring di regexp_replace, regexp_substr e regexp_instr
• [SPARK-50716] [SC-184823][core] Correggere la logica di pulizia per i collegamenti simbolici nel JavaUtils.deleteRecursivelyUsingJavaIO metodo
• [SPARK-50630] [SC-184443][sql] Correzione GROUP BY del supporto ordinale per gli operatori SQL AGGREGATE pipe
• [SPARK-50614] [SC-184729][sql] Aggiungere il supporto per la frammentazione delle varianti per Parquet
• [SPARK-50661] [SASP-4936] Aggiungere la compatibilità con le versioni precedenti del client FEB.
• [SPARK-50676] [SC-184641][sql] Rimuovi non usato private lazy val mapValueContainsNull da ElementAt
• [SPARK-50515] [SC-183813][core] Aggiungere un'interfaccia di sola lettura a SparkConf
• [SPARK-50697] [SC-184702][sql] Abilitare la ricorsione della parte finale laddove possibile
• [SPARK-50642] [SC-184726][sc-183517][CONNECT][ss][2/N][16.x] Correggi lo schema di stato per FlatMapGroupsWithState in Spark Connect quando non c'è uno stato iniziale
• [SPARK-50701] [SC-184704][python] Richiedere che l'uso di tracciati richieda la versione minima di plotly
• [SPARK-50702] [SC-184727][python] Perfezionare il docstring di regexp_count, regexp_extract e regexp_extract_all
• [SPARK-50499] [SC-184177][python] Esporre le metriche di BasePythonRunner
• [SPARK-50692] [SC-184705][16.x] Aggiungere il supporto RPAD pushdown
• [SPARK-50682] [SC-184579][sql] L'alias interno deve essere canonizzato
• [SPARK-50699] [SC-184695][python] Analizzare e generare una stringa DDL con una sessione specificata
• [SPARK-50573] [SC-184568][ss] Aggiunta dell'ID dello schema di stato alle righe di stato per l'evoluzione dello schema
• [SPARK-50661] [SC-184639][connect][SS][sasp-4936] Correggere l'implementazione di foreachBatch di Spark Connect Scala. per fornire supporto a Dataset[T].
• [SPARK-50689] [SC-184591][sql] Applicare l'ordinamento deterministico negli elenchi di progetti LCA
• [SPARK-50696] [SC-184667][python] Ottimizzare la chiamata Py4J per il metodo di analisi DDL
• [SPARK-49670] [SC-182902][sql] Abilitare la collazione trim per tutte le espressioni pass-through
• [SPARK-50673] [SC-184565][ml] Evitare di scorrere i coefficienti del modello due volte all'interno del Word2VecModel costruttore
• [SPARK-50687] [SC-184588][python] Ottimizzare la logica per ottenere le analisi dello stack per DataFrameQueryContext
• [SPARK-50681] [SC-184662][python][CONNECT] Memorizzare nella cache lo schema analizzato per MapInXXX e ApplyInXXX
• [SPARK-50674] [SC-184589][python] Correzione dell'esistenza del metodo 'terminate' nella valutazione UDTF
• [SPARK-50684] [SC-184582][python] Migliorare le prestazioni di Py4J in DataFrameQueryContext
• [SPARK-50578] [DBR16.x][sc-184559][PYTHON][ss] Aggiungere il supporto per la nuova versione dei metadati di stato per TransformWithStateInPandas
• [SPARK-50602] [SC-184439][sql] Correzione della trasposizione per visualizzare un messaggio di errore corretto quando vengono specificate colonne di indice non valide
• [SPARK-50650] [SC-184532][sql] Migliorare la registrazione in analizzatore a pass singolo
• [SPARK-50665] [SC-184533][sql] Sostituire LocalRelation con ComparableLocalRelation nel piano di normalizzazione
• [SPARK-50644] [SC-184486][sql] Leggere struct variante nel lettore Parquet.
• [SPARK-49636] [SC-184089][sql] Rimuovere il suggerimento di configurazione ANSI in INVALID_ARRAY_INDEX e INVALID_ARRAY_INDEX_IN_ELEMENT_AT
• [SPARK-50659] [SC-184514][sql] Rifattorizzare il calcolo dell'output di Union per poterlo riutilizzare nell'analizzatore a pass singolo
• [SPARK-50659] [SC-184512][sql] Spostare gli errori correlati all'Unione in QueryCompilationErrors
• [SPARK-50530] [SC-183419][sql] Correzione del calcolo errato del contesto di tipo stringa implicito
• [SPARK-50546] [SC-183807][sql] Aggiungere il supporto del cast di sottoquery alla coercizione dei tipi di regole di confronto
• [SPARK-50405] [SC-182889][sql] Gestire correttamente la coercizione del tipo di confronto per i tipi di dati complessi
• [SPARK-50637] [SC-184434][sql] Correzione dello stile di codice per l'analizzatore a pass singolo
• [SPARK-50638] [SC-184435][sql] Effettuare il refactoring della risoluzione della visualizzazione nel file separato per riutilizzarlo nell'analizzatore a passaggio singolo
• [SPARK-50615] [SC-184298][sql] Eseguire il push della variante nella scansione.
• [SPARK-50619] [SC-184210][sql] Refactor VariantGet.cast per impacchettare gli argomenti del cast
• [SPARK-50599] [SC-184058][sql] Creare il tratto DataEncoder che consente la codifica Avro e UnsafeRow
• [SPARK-50076] [SC-183809] Correzione delle chiavi di logkey
• [SPARK-50597] [SC-183972][sql] Refactoring della costruzione di batch in Optimizer.scala e SparkOptimizer.scala
• [SPARK-50339] [SC-183063][spark-50360][SS] Abilitare il log delle modifiche per archiviare le informazioni di derivazione
• [SPARK-50526] [SC-183811][ss] Aggiungere la configurazione del formato di codifica per l'archivio nel log offset e bloccare gli operatori con stato non supportati dall'uso di avro
• [SPARK-50540] [SC-183810][python][SS] Correzione dello schema stringa per StatefulProcessorHandle
• [SPARK-50157] [SC-183789][sql] Uso di SQLConf fornito prima da SparkSession.
• [SPARK-48898] [SC-183793][sql] Impostare correttamente la nullabilità nello schema Variant
• [SPARK-50559] [SC-183814][sql] Memorizza le uscite di Except, Intersect e Union come valori lazy
• [SPARK-48416] [SC-183643][sql] Supporto annidato correlato con l'espressione
• [SPARK-50428] [SC-183566][ss][PYTHON] Supporto di TransformWithStateInPandas nelle query batch
• [SPARK-50063] [SC-183350][sql][CONNECT] Aggiungere il supporto per Variant nel client Spark Connect Scala
• [SPARK-50544] [SC-183569][python][CONNECT] Implementa StructType.toDDL
• [SPARK-50443] [SC-182590][ss] Correzione degli errori di compilazione Maven introdotti dalla cache Guava in RocksDBStateStoreProvider
• [SPARK-50491] [SC-183434][sql] Correzione del bug in cui i blocchi BEGIN END vuoti generano un errore
• [SPARK-50536] [SC-183443][core] Dimensioni dei file di archivio scaricate in SparkContext e Executor
• [SPARK-45891] [SC-183439][sql] Ricostruire il binario variante dai dati frammentati.
• [SPARK-49565] [SC-183465][sql] Aggiungere la sintassi della pipe SQL per l'operatore FROM
• [SPARK-50497] [SC-183338][sql] Fallire le query con un messaggio appropriato se MultiAlias contiene una funzione che non genera
• [SPARK-50460] [SC-183375][python][CONNECT] Generalizzare e semplificare la gestione delle eccezioni Connect
• [SPARK-50537] [SC-183452][connect][PYTHON] Correzione dell'opzione di compressione sovrascritta in df.write.parquet
• [SPARK-50329] [SC-183358][sql] correggere InSet$toString
• [SPARK-50524] [SC-183364][sql] Abbassa il messaggio di avviso al livello di debug
• [SPARK-50528] [SC-183385][connect] Passare InvalidCommandInput al modulo comune
• [SPARK-50017] [SC-182438][ss] Supporta la codifica Avro per l'operatore TransformWithState
• [SPARK-50463] [SC-182833][sql] Correzione ConstantColumnVector della conversione da columnar a riga
• [SPARK-50235] [SC-180786][sql] Pulire la risorsa ColumnVector dopo l'elaborazione di tutte le righe in ColumnarToRowExec
• [SPARK-50516] [SC-183279][ss][MINOR] Correggere il test relativo allo stato di inizializzazione per utilizzare StreamManualClock
• [SPARK-50478] [SC-183188][sql] Correzione della corrispondenza di StringType
• [SPARK-50492] [SC-183177][ss] Correggere java.util.NoSuchElementException quando la colonna del tempo dell'evento viene eliminata dopo dropDuplicatesWithinWatermark
• [SPARK-49566] [SC-182589][sql] Aggiungere la sintassi della pipe SQL per l'operatore SET
• [SPARK-50449] [SC-183178][sql] Correzione della grammatica di scripting SQL che consente corpi vuoti per cicli, IF e CASE
• [SPARK-50251] [SC-180970][python] Aggiungere getSystemProperty a PySpark SparkContext
• [SPARK-50421] [SC-183091][core] Correzione errata della configurazione della memoria correlata all'executor quando funzionano più profili di risorsa
• [SPARK-49461] [SC-179572][ss] ID checkpoint persistente per il commit dei log e leggerlo nuovamente
• [SPARK-50343] [SC-183119][spark-50344][SQL] Aggiungere la sintassi della pipe SQL per gli operatori DROP e AS
• [SPARK-50481] [SC-182880][core] Miglioramento SortShuffleManager.unregisterShuffle per ignorare la logica del file checksum se il checksum è disabilitato
• [SPARK-50498] [SC-183090][python] Evitare chiamate py4j non necessarie in listFunctions
• [SPARK-50489] [SC-183053][sql][PYTHON] Correzione del self-join dopo applyInArrow
• [SPARK-49695] [SC-182967][sc-176968][SQL] Correzione del push-down xor di Postgres

Supporto del driver ODBC/JDBC di Databricks

Databricks supporta i driver ODBC/JDBC rilasciati negli ultimi 2 anni. Scaricare i driver rilasciati di recente e aggiornare (scaricare ODBC, scaricare JDBC).

Aggiornamenti della manutenzione

Vedere Aggiornamenti della manutenzione di Databricks Runtime 16.2.

Ambiente di sistema

• Sistema operativo: Ubuntu 24.04.1 LTS
  • Nota: questa è la versione ubuntu usata dai contenitori di Databricks Runtime. I contenitori di Databricks Runtime vengono eseguiti nelle macchine virtuali del provider di servizi cloud, che potrebbero usare una versione ubuntu diversa o una distribuzione Linux diversa.
• Java: Zulu17.54+21-CA
• Scala: 2.12.15
• python: 3.12.3
• R: 4.4.0
• Delta Lake: 3.3.0

Librerie Python installate

Librerie R installate

Le librerie R vengono installate dallo snapshot CRAN di Gestione pacchetti Posit nel 2024-08-04: https://packagemanager.posit.co/cran/2024-08-04/.

Librerie di Java e Scala installate (versione del cluster Scala 2.12)