Condividi tramite

Databricks Runtime 10.5 (EoS)

Nota

Il supporto per questa versione di Databricks Runtime è terminato. Per la data di fine del supporto, vedere Fine del supporto e cronologia di fine vita. Per tutte le versioni supportate di Databricks Runtime, consultare Versioni e compatibilità delle note di rilascio di Databricks Runtime.

Le note sulla versione seguenti forniscono informazioni su Databricks Runtime 10.5, basate su Apache Spark 3.2.1. Databricks ha rilasciato questa versione nel maggio 2022.

Miglioramenti e nuove funzionalità

SQL: nuove funzioni to_number e try_to_number

La funzione to_number e la funzione try_to_number consentono di convertire le rappresentazioni di caratteri di numeri in vari formati in DECIMAL.

SQL: Nuova funzione try_sum

A differenza di sum, la try_sum funzione di aggregazione restituisce NULL anziché un errore quando si verifica un overflow.

SQL: aggiornamento delle funzioni ceil, ceiling e floor

La ceil funzione, ceiling la funzione e floor la funzione supportano ora un secondo argomento facoltativo per specificare una scala di destinazione.

SQL: nuove funzioni regr_avgx di aggregazione e regr_avgy

La nuova regr_avgx funzione di aggregazione e regr_avgy la funzione di aggregazione supportano le regressioni lineari.

SQL: Aggiornare alle funzioni contains, startswith e endswith.

La contains funzione, startswith la funzione e endswith la funzione supportano ora i tipi di dati binari come input oltre alle stringhe.

SQL: Nuova funzione array_size

La nuova array_size funzione calcola le dimensioni di una matrice.

Unity Catalog: L'output SQL LIST rimuove la colonna is_directory e aggiunge / finale per i percorsi di directory (Anteprima Pubblica)

L'output dell'istruzione SQL LIST per elencare i percorsi regolati da Catalogo Unity è stato modificato. La is_directory colonna non viene più visualizzata. Al contrario, i percorsi che rappresentano le directory ora terminano con una barra obliqua finale (/) per le colonne path e name. Questa modifica riguarda la coerenza con l'output del dbutils.fs.ls comando.

Caricatore automatico: nuova funzione SQL CLOUD_FILES_STATE

È possibile usare la nuova CLOUD_FILES_STATE funzione per eseguire query sullo stato interno di un flusso del caricatore automatico. Vedere Esecuzione di query sui file individuati dal caricatore automatico.

Auto Loader: il supporto per le notifiche file è ora in disponibilità generale

Supporto per le notifiche dei file per Che cos'è il caricatore automatico? su Google Cloud è ora generalmente disponibile.

Delta Lake: nuova maxRecordsPerFile opzione per i record massimi scritti in un singolo file

Quando si usano le API DataFrame per scrivere in una tabella Delta, è possibile usare l'opzione maxRecordsPerFile per specificare il numero massimo di record da scrivere in un singolo file. La specifica di un valore pari a zero o un valore negativo non rappresenta alcun limite. Vedere Controllare le dimensioni del file di dati.

Deprecazione di Koalas

Koalas è ora deprecato. Koalas fornisce API Pandas su Apache Spark. Koalas è stato contribuito dalla community ed è stato disponibile come API pandas in Spark a partire da Apache Spark 3.2. Koalas continua a essere preinstallato per Databricks Runtime 10.5, ma Koalas non verrà più preinstallato a partire dalla versione successiva di Databricks Runtime.

Per altre informazioni sull'API Pandas in Spark, vedere:

Nuova _metadata colonna per tutti i formati di file

È possibile ottenere informazioni sui metadati per i file di input con la colonna _metadata. La _metadata colonna è nascosta. Questa colonna è disponibile per tutti i formati di file di input. Per includere la _metadata colonna in un oggetto restituito, è necessario fare riferimento in modo esplicito DataFramea questa colonna nella query. Vedere Colonna dei metadati dei file.

Testare la pipeline con Databricks Runtime 10.5

Databricks Runtime 10.5 è ora la versione supportata per le pipeline dichiarative preview di Lakeflow Spark. Per testare la pipeline con Databricks Runtime 10.5, impostare l'impostazione channel su preview nelle impostazioni della pipeline.

Correzioni di bug

  • Corretto la visualizzazione dei risultati delle numUpdatedRows metriche e delle operazioni di aggiornamento numCopiedRows nelle tabelle Delta con il change data capture (CDC) abilitato.

Aggiornamenti della libreria

  • Librerie Python aggiornate:
    • tracciato da 5.5.0 a 5.6.0
  • Librerie R aggiornate:
    • base da 4.1.2 a 4.1.3
    • cursore da 6.0-90 a 6.0-91
    • cluster dalla versione 2.1.2 alla versione 2.1.3
    • segno comune da 1.7 a 1.8.0
    • compilatore da 4.1.2 a 4.1.3
    • crayon dalla versione 1.5.0 alla versione 1.5.1
    • set di dati da 4.1.2 a 4.1.3
    • desc da 1.4.0 a 1.4.1
    • fansi da 1.0.2 a 1.0.3
    • glue dalla versione 1.6.1 alla versione 1.6.2
    • grafici dalla versione 4.1.2 alla 4.1.3
    • grDevices dalla versione 4.1.2 alla versione 4.1.3
    • griglia da 4.1.2 a 4.1.3
    • knitr da 1.37 a 1.38
    • MASS da 7.3-55 a 7.3-56
    • Matrice da 1.4-0 a 1.4-1
    • metodi da 4.1.2 a 4.1.3
    • mgcv da 1,8-39 a 1,8-40
    • nlme da 3.1-155 a 3.1-157
    • openssl da 1.4.6 a 2.0.0
    • parallelamente da 4.1.2 a 4.1.3
    • plyr da 1.8.6 a 1.8.7
    • processx da 3.5.2 a 3.5.3
    • r2d3 da 0.2.5 a 0.2.6
    • Rcpp da 1.0.8 a 1.0.8.3
    • rlang da 1.0.1 a 1.0.2
    • rmarkdown da 2.11 a 2.13
    • RSQLite da 2.2.10 a 2.2.11
    • sass da 0.4.0 a 0.4.1
    • spline da versione 4.1.2 a 4.1.3
    • statistiche da 4.1.2 a 4.1.3
    • stats4 da 4.1.2 a 4.1.3
    • tcltk da 4.1.2 a 4.1.3
    • strumenti da 4.1.2 a 4.1.3
    • Utilità dalla versione 4.1.2 alla versione 4.1.3
    • uuid da 1.0-3 a 1.0-4
    • aggiornamento di waldo da 0.3.1 a 0.4.0
    • withr dalla versione 2.4.3 alla versione 2.5.0
    • xfun da versione 0.29 a 0.30
  • Librerie Java aggiornate:
    • com.h2database.h2 da 1,4,195 a 2,1,210
    • org.apache.hadoop.hadoop-client-api da 3.3.1-databricks a 3.3.2-databricks
    • org.apache.hadoop.hadoop-client-runtime da 3.3.1 a 3.3.2
    • org.rocksdb.rocksdbjni da 6.24.2 a 6.20.3

Apache Spark

Databricks Runtime 10.5 include Apache Spark 3.2.1. Questa versione include tutte le correzioni e i miglioramenti di Spark inclusi in Databricks Runtime 10.4 LTS (EoS), nonché le correzioni di bug e i miglioramenti aggiuntivi seguenti apportati a Spark:

  • [SPARK-38354] [SC-97886] Ripristinare "[SQL] Aggiungere la metrica dei probe hash per il join hash casuale"
  • [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Strumenta il modulo PySpark SQL con un logger di utilizzo generale
  • [SPARK-38333] [SQL] L'espressione PlanExpression deve ignorare la funzione addExprTree in Executor
  • [SPARK-38646] [PYTHON][10.x] Estrarre un tratto per le funzioni Python
  • [SPARK-38674] [PHOTON] Aggiungere una metrica a PhotonSubqueryBroadcastExec
  • [SPARK-38787] [SS] Sostituire il valore trovato con un elemento non Null nell'elenco rimanente per la chiave e rimuovere gli elementi Null rimanenti dai valori nell'archivio keyWithIndexToValue per i join di stream-stream
  • [SPARK-38446] [Core] Correzione del deadlock tra ExecutorClassLoader e FileDownloadCallback causato da Log4j
  • [SPARK-38705] [SQL] Usare l'identificatore di funzione nei comandi di creazione e eliminazione delle funzioni
  • [SPARK-38684] [SS] Risoluzione del problema di correttezza nella stream-stream outer join con il provider dell'archivio di stato RocksDB
  • [SPARK-38655] [SQL] OffsetWindowFunctionFrameBase impossibile trovare la riga di offset il cui input non è Null
  • [SPARK-38204] [SS] Usare StatefulOpClusteredDistribution per gli operatori stateful rispettando la compatibilità con le versioni precedenti
  • [SPARK-38616] [SQL] Tenere traccia del testo della query SQL in Catalyst TreeNode
  • [SPARK-38600] [SQL] Includere unit nella stringa sql di TIMESTAMPADD/DIFF
  • [SPARK-34805] [SQL] Propagare i metadati dalle colonne annidate in Alias
  • [SPARK-38535] [SQL] Aggiungere l'enumerazione datetimeUnit e usarla in TIMESTAMPADD/DIFF
  • [SPARK-38415] [SQL] Aggiornare il tipo di risultato histogram_numeric (x, y) per impostare x == il tipo di input
  • [SPARK-38148] [SQL] Non aggiungere l'eliminazione dinamica della partizione se esiste l'eliminazione di partizioni statiche
  • [SPARK-37527] [SQL] Compilare COVAR_POP, COVAR_SAMP e CORR in H2Dialet
  • [SPARK-38510] [SQL] Ripetere classSymbol.selfType per aggirare i riferimenti ciclici
  • [SPARK-38509] [SQL] Annullare la registrazione delle TIMESTAMPADD/DIFF funzioni e rimuovere DATE_ADD/DIFF
  • [SPARK-38504] [SQL] Impossibile leggere TimestampNTZ come TimestampLTZ
  • [SPARK-38526] [SQL] Correzione del nome alias della funzione fuorviante per RuntimeReplaceable
  • [SPARK-38335] [SQL] Implementare il supporto del parser per i valori di colonna DEFAULT
  • [SPARK-38593] [SS] Trasportare la metrica del numero di eventi ritardati eliminati in SessionWindowStateStoreSaveExec
  • [SPARK-38549] [SS] Aggiungi numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
  • [SPARK-38583] [SQL] Ripristinare il comportamento di to_timestamp che consente tipi numerici
  • [SPARK-38481] [SQL] Sostituire l'eccezione di overflow Java da TIMESTAMPADD con un'eccezione Spark
  • [SPARK-37753] [SQL] Perfezionare la logica per declassare il Broadcast Hash Join in DynamicJoinSelection
  • [SPARK-37582] [SPARK-37583][sql] CONTAINS, STARTSWITH, ENDSWITH deve supportare sia i tipi stringa che binari
  • [SPARK-38345] [SQL] Introduzione alla funzione SQL ARRAY_SIZE
  • [SPARK-38385] [SQL] Migliorare i messaggi di errore della dichiarazione vuota e <EOF> in ParseException
  • [SPARK-37614] [SQL] Supporto della funzione di aggregazione ANSI: regr_avgx e regr_avgy
  • [SPARK-38560] [SQL] Se Sum, Count, Any sono associati a distinct, non è possibile eseguire un'operazione di push-down di aggregazione parziale.
  • [SPARK-38360] [SQL][ss][PYTHON] Introdurre una exists funzione per TreeNode eliminare i modelli di codice duplicati
  • [SPARK-38385] [SQL] Miglioramento dei messaggi di errore dei casi di input non corrispondenti da ANTLR
  • [SPARK-38240] [SQL] Migliorare RuntimeReplaceable e aggiungere una linea guida per l'aggiunta di nuove funzioni
  • [SPARK-38542] [SQL]UnsafeHashedRelation deve serializzare numKeys out
  • [SPARK-38521] [SQL] Passare partitionOverwriteMode da stringa a variabile in Scala
  • [SPARK-38558] [SQL] Rimuovere cast non necessari tra IntegerType e IntDecimal
  • [SPARK-38489] [SQL] Aggregate.groupOnly supporta espressioni piegabili
  • [SPARK-38410] [SQL] Supporto per specificare il numero di partizione iniziale per il ribilanciamento
  • [SPARK-38107] [SQL] Usare classi di errore negli errori di compilazione delle UDF python/pandas
  • [SPARK-38354] [SQL] Aggiungere la metrica delle sonde hash per il join hash riordinato
  • [SPARK-38112] [SQL] Usare classi di errore negli errori di esecuzione della gestione di data/timestamp
  • [SPARK-38361] [SQL] Aggiungere metodo factory nel JDBCDialect.
  • [SPARK-37865] [SQL] Correggere il bug di correttezza nella deduplicazione delle unioni
  • [SPARK-38298] [SQL][tests] Fix DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite in modalità ANSI
  • [SPARK-38407] [SQL] Allentare la limitazione del cast di tipi complessi non nulli in ANSI Cast
  • [SPARK-38352] [SQL] Correggi DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite in modalità ANSI
  • [SPARK-38054] [SQL] Supporta gli spazi dei nomi di elenco nel dialetto MySQL JDBC v2
  • [SPARK-37960] [SQL] Un nuovo framework per rappresentare espressioni catalizzatori nelle API DS v2
  • [SPARK-38103] [SQL] Eseguire la migrazione degli errori di analisi della trasformazione nel nuovo framework degli errori
  • [SPARK-38519] [SQL] L'eccezione generata da AQE deve rispettare SparkFatalException
  • [SPARK-38528] [SQL] Iterare rapidamente la sequenza di aggregazione durante la costruzione della lista di progetto in ExtractGenerator
  • [SPARK-38320] [SS] Risolvere il timeout di flatMapGroupsWithState in batch con dati per chiave
  • [SPARK-38442] [SQL] Correzione di ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite in modalità ANSI
  • [SPARK-38268] [SQL] Nascondere il campo "failOnError" nel metodo toString di Abs/CheckOverflow
  • [SPARK-37949] [SQL] Migliorare la stima delle statistiche di ribilanciamento
  • [SPARK-38450] [SQL] Correggi HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite in modalità ANSI
  • [SPARK-38501] [SQL] Correggere gli errori di test thriftserver in modalità ANSI
  • [SPARK-37895] [SQL] Filtrare la colonna verso il basso con colonne tra virgolette
  • [SPARK-38449] [SQL] Evitare di chiamare createTable quando ignoreIfExists=true e la tabella esiste
  • [SPARK-38406] [SQL] Migliorare le prestazioni di ShufflePartitionsUtil createSkewPartitionSpecs
  • [SPARK-37947] [SQL] Estrarre generatore dall'espressione GeneratorOuter contenuta in un operatore Generate.
  • [SPARK-38309] [CORE] Correzione delle metriche SHS shuffleTotalReads e shuffleTotalBlocks percentile
  • [SPARK-38412] [SS] Correggere la sequenza invertita di 'da' e 'a' in StateSchemaCompatibilityChecker
  • [SPARK-38267] [CORE][sql][SS] Sostituire le corrispondenze dei criteri nelle espressioni booleane con istruzioni condizionali
  • [SPARK-38104] [SQL] Eseguire la migrazione degli errori di analisi della finestra nel nuovo framework degli errori
  • [SPARK-38434] [SQL] Semantica corretta del metodo CheckAnalysis.getDataTypesAreCompatibleFn
  • [SPARK-38033] [SS] L'elaborazione SS non può essere avviata perché il com...
  • [SPARK-38378] [SQL] Refactoring della definizione della grammatica ANTLR in file separati per Parser e Lexer
  • [SPARK-37475] [SQL] Aggiungere il parametro di scala alle funzioni floor e ceil
  • [SPARK-38411] [CORE] Usare UTF-8 quando doMergeApplicationListingInternal legge i registri eventi
  • [SPARK-36553] [ML] KMeans evita il calcolo delle statistiche ausiliarie per K di grandi dimensioni
  • [SPARK-38393] [SQL] Pulire l'utilizzo deprecato di GenSeq/GenMap
  • [SPARK-38389] [SQL] Aggiungere gli DATEDIFF() alias e DATE_DIFF() per TIMESTAMPDIFF()
  • [SPARK-33206] [CORE][3.2] Correzione del calcolo del peso nella cache dell'indice shuffle per i file di indice di piccole dimensioni
  • [SPARK-38353] [PYTHON] Strumentare i metodi magici `enter` e `exit` per l'API Pandas in Spark
  • [SPARK-38323] [SQL][streaming] Supportare i metadati dei file nascosti in Streaming
  • [SPARK-38138] [SQL] Realizzare sottoquery di query plan
  • [SPARK-38094] Abilitare la corrispondenza dei nomi delle colonne dello schema tramite gli ID dei campi
  • [SPARK-37923] [SQL] Generare trasformazioni di partizione per BucketSpec all'interno del parser
  • [SPARK-38363] [SQL] Evitare errori di runtime in Dataset.summary()/Dataset.describe() quando la modalità ANSI è attivata
  • [SPARK-38284] [SQL] Aggiungere la TIMESTAMPDIFF() funzione
  • [SPARK-38251] [SQL] Modificare Cast.toString come "cast" anziché "ansi_cast" in modalità ANSI
  • [SPARK-38314] [SQL] Correzione della mancata lettura dei file Parquet dopo la scrittura dei metadati nascosti nel file

Vedere Aggiornamenti della manutenzione di Databricks Runtime 10.5.

Ambiente di sistema

  • Sistema operativo: Ubuntu 20.04.4 LTS
  • Java: Zulu 8.56.0.21-CA-linux64
  • Scala: 2.12.14
  • Python: 3.8.10
  • R: 4.1.3
  • Delta Lake: 1.2.1

Librerie Python installate

Libreria Versione Libreria Versione Libreria Versione
Antergos Linux 10/2015 (ISO-Rolling) appdirs 1.4.4 argon2-cffi 20.1.0
generatore asincrono 1.10 att. 20.3.0 chiamata di ritorno 0.2.0
dizionario bidirezionale 0.21.4 candeggiare 3.3.0 boto3 1.16.7
botocore 1.19.7 certificato 2020.12.5 cffi 1.14.5
chardet 4.0.0 ciclista 0.10.0 Cython, un linguaggio di programmazione 0.29.23
dbus-python 1.2.16 Decoratore 5.0.6 defusedxml (una libreria per migliorare la sicurezza nell'elaborazione di XML) 0.7.1
distlib 0.3.4 informazioni sulla distribuzione 0.23ubuntu1 punti di ingresso 0,3
"Panoramica delle sfaccettature" 1.0.0 blocco dei file 3.6.0 IDNA 2.10
ipykernel 5.3.4 ipython 7.22.0 ipython-genutils 0.2.0
ipywidgets (una libreria Python per widget interattivi) 7.6.3 jedi 0.17.2 Jinja2 2.11.3
jmespath 0.10.0 joblib 1.0.1 jsonschema 3.2.0
jupyter-client 6.1.12 jupyter-core 4.7.1 jupyterlab-pygments 0.1.2
jupyterlab-widgets 1.0.0 kiwisolver 1.3.1 koala 1.8.2
MarkupSafe 2.0.1 matplotlib 3.4.2 Mistune 0.8.4
nbclient 0.5.3 nbconvert 6.0.7 nbformat 5.1.3
nest-asyncio 1.5.1 taccuino 6.3.0 numpy 1.20.1
imballaggio 20.9 Panda 1.2.4 pandocfilters 1.4.3
parso 0.7.0 vittima 0.5.1 pexpect 4.8.0
pickleshare (libreria di software Python) 0.7.5 Cuscino 8.2.0 seme 21.0.1
plotly (software di visualizzazione dati) 5.6.0 prometheus-client 0.10.1 prompt-toolkit 3.0.17
protobuf 3.17.2 psycopg2 2.8.5 ptyprocess 0.7.0
pyarrow 4.0.0 pycparser (un parser scritto in Python) 2.20 Pygments 2.8.1
PyGObject 3.36.0 pyparsing 2.4.7 pyrsistent 0.17.3
python-apt 2.0.0+ubuntu0.20.4.7 python-dateutil (libreria Python per la gestione delle date) 2.8.1 python-engineio 4.3.0
python-socketio 5.4.1 pytz 2020.5 pyzmq 20.0.0
richieste 2.25.1 requests-unixsocket 0.2.0 s3transfer 0.3.7
scikit-learn 0.24.1 scipy 1.6.2 Seaborn 0.11.1
Send2Trash 1.5.0 setuptools (pacchetto Python per gestire la configurazione e la distribuzione) 52.0.0 sei 1.15.0
ssh-import-id (comando per l'importazione di chiavi SSH) 5.10 statsmodels 0.12.2 tenacità 8.0.1
finito 0.9.4 percorso di prova 0.4.4 threadpoolctl 2.1.0
tornado 6.1 traitlets (una libreria per la configurazione dei parametri nei programmi Python) 5.0.5 aggiornamenti senza supervisione 0,1
urllib3 1.25.11 virtualenv 20.4.1 wcwidth (funzione per determinare la larghezza dei caratteri) 0.2.5
codifiche web 0.5.1 ruota 0.36.2 widgetsnbextension 3.5.1

Librerie R installate

Le librerie R vengono installate dallo snapshot di Microsoft CRAN nel 2022-03-28.

Libreria Versione Libreria Versione Libreria Versione
askpass 1.1 assicura che 0.2.1 retroportazioni 1.4.1
base 4.1.3 base64enc 0.1-3 pezzo 4.0.4
bit 64 4.0.5 massa amorfa 1.2.2 stivale 1.3-28
fermentare 1.0-7 Brio 1.1.3 Scopa 0.7.12
bslib 0.3.1 cashmere 1.0.6 chiamante 3.7.0
Interpunzione 6.0-91 cellranger 1.1.0 cronometro 2.3-56
classe 7.3-20 CLI 3.2.0 Clipr 0.8.0
raggruppamento 2.1.3 strumenti per la codifica 0.2-18 spazio di colore 2.0-3
segno comune 1.8.0 compilatore 4.1.3 configurazione 0.3.1
cpp11 0.4.2 pastello 1.5.1 credenziali 1.3.2
curva 4.3.2 tabella di dati 1.14.2 Insiemi di dati 4.1.3
DBI 1.1.2 dbplyr 2.1.1 descrizione 1.4.1
strumenti per sviluppatori 2.4.3 diffobj 0.3.5 digerire 0.6.29
dplyr 1.0.8 dtplyr 1.2.1 e1071 1.7-9
puntini di sospensione 0.3.2 valutare 0.15 fan 1.0.3
colori 2.1.0 mappatura veloce 1.1.0 fontawesome 0.2.2
forzati 0.5.1 foreach 1.5.2 straniero 0.8-82
forgiare 0.2.0 Fs 1.5.2 futuro 1.24.0
futuro.applicare 1.8.1 fare gargarismi 1.2.0 elementi generici 0.1.2
Gert 1.5.0 ggplot2 3.3.5 Gh 1.3.0
gitcreds 0.1.1 glmnet 4.1-3 elementi globali 0.14.0
colla 1.6.2 Google Drive 2.0.0 Googlesheets4 1.0.0
Gower 1.0.0 grafica 4.1.3 grDispositivi 4.1.3
griglia 4.1.3 gridExtra 2.3 gsubfn 0,7
gtable 0.3.0 casco protettivo 0.2.0 rifugio 2.4.3
più alto 0.9 HMS 1.1.1 strumenti HTML 0.5.2
htmlwidgets 1.5.4 httpuv 1.6.5 httr 1.4.2
hwriter 1.3.2 hwriterPlus 1.0-3 documenti di identità 1.0.1
ini 0.3.1 ipred 0.9-12 banderelle isografiche 0.2.5
Iteratori 1.0.14 jquerylib 0.1.4 jsonlite 1.8.0
KernSmooth 2.23-20 knitr 1.38 Etichettatura 0.4.2
più tardi 1.3.0 Reticolo 0.20-45 lava 1.6.10
ciclo di vita 1.0.1 ascolta 0.8.0 lubridate 1.8.0
magrittr 2.0.2 Markdown 1.1 Massa 7.3-56
Matrix 1.4-1 memorizza 2.0.1 metodi 4.1.3
mgcv 1.8-40 mimo 0.12 ModelMetrics 1.2.2.2
modelr 0.1.8 munsell 0.5.0 nlme 3.1-157
nnet 7.3-17 Derivazione numerica 2016.8-1.1 openssl 2.0.0
parallelo 4.1.3 parallelamente 1.30.0 Pilastro 1.7.0
pkgbuild 1.3.1 pkgconfig 2.0.3 pkgload 1.2.4
plogr 0.2.0 plyr 1.8.7 elogio 1.0.0
prettyunits 1.1.1 pROC 1.18.0 processx 3.5.3
prodlim 2019.11.13 Avanzamento 1.2.2 progressr 0.10.0
promesse 1.2.0.1 proto / prototipo 1.0.0 intermediario 0.4-26
P.S. 1.6.0 purrr 0.3.4 r2d3 0.2.6
R6 2.5.1 randomForest 4.7-1 rappdirs 0.3.3
rcmdcheck 1.4.0 RColorBrewer 1.1-2 Rcpp (una libreria per il linguaggio di programmazione R) 1.0.8.3
RcppEigen 0.3.3.9.1 readr 2.1.2 readxl (software per leggere documenti Excel) 1.3.1
ricette 0.2.0 nuovo incontro 1.0.1 rematch2 2.1.2
Telecomandi 2.4.2 esempio riproducibile (reprex) 2.0.1 reshape2 1.4.4
rlang 1.0.2 rmarkdown 2,13 RODBC 1.3-19
roxygen2 7.1.2 rpart 4.1.16 rprojroot 2.0.2
Rserve 1.8-10 RSQLite 2.2.11 rstudioapi 0.13
rversions 2.1.1 rvest 1.0.2 insolenza 0.4.1
Scalabilità 1.1.1 selettore 0,4-2 informazioni sulla sessione 1.2.2
Forma 1.4.6 brillante 1.7.1 sourcetools 0.1.7
sparklyr 1.7.5 SparkR 3.2.0 spaziale 7.3-11
Splines 4.1.3 sqldf 0,4-11 SQUAREM 2021.1
statistiche 4.1.3 statistiche4 4.1.3 perizoma 1.7.6
stringr 1.4.0 Sopravvivenza 3.2-13 sys 3.4
tcltk 4.1.3 Dimostrazioni di Insegnamento 2.10 testthat 3.1.2
Tibble 3.1.6 tidyr 1.2.0 tidyselect 1.1.2
tidyverse 1.3.1 data e ora 3043.102 tinytex 0,37
strumenti 4.1.3 tzdb 0.2.0 Usa questo 2.1.5
UTF8 1.2.2 Utilità 4.1.3 UUID (Identificatore Unico Universale) 1.0-4
vctrs 0.3.8 viridisLite 0.4.0 vrooom 1.5.7
Waldo 0.4.0 baffi 0.4 withr 2.5.0
xfun 0,30 xml2 1.3.3 xopen 1.0.0
xtable 1.8-4 yaml 2.3.5 formato zip 2.2.0

Librerie di Java e Scala installate (versione del cluster Scala 2.12)

ID gruppo ID artefatto Versione
antlr antlr 2.7.7
com.amazonaws Amazon Kinesis Client 1.12.0
com.amazonaws aws-java-sdk-autoscaling 1.12.189
com.amazonaws aws-java-sdk-cloudformation 1.12.189
com.amazonaws aws-java-sdk-cloudfront 1.12.189
com.amazonaws aws-java-sdk-cloudhsm 1.12.189
com.amazonaws aws-java-sdk-cloudsearch 1.12.189
com.amazonaws aws-java-sdk-cloudtrail 1.12.189
com.amazonaws aws-java-sdk-cloudwatch 1.12.189
com.amazonaws aws-java-sdk-cloudwatchmetrics 1.12.189
com.amazonaws aws-java-sdk-codedeploy 1.12.189
com.amazonaws aws-java-sdk-cognitoidentity 1.12.189
com.amazonaws aws-java-sdk-cognitosync 1.12.189
com.amazonaws aws-java-sdk-config (configurazione SDK Java per AWS) 1.12.189
com.amazonaws aws-java-sdk-core 1.12.189
com.amazonaws aws-java-sdk-datapipeline 1.12.189
com.amazonaws aws-java-sdk-directconnect (strumento per la connessione diretta in Java di AWS) 1.12.189
com.amazonaws aws-java-sdk-directory 1.12.189
com.amazonaws aws-java-sdk-dynamodb 1.12.189
com.amazonaws aws-java-sdk-ec2 1.12.189
com.amazonaws aws-java-sdk-ecs 1.12.189
com.amazonaws aws-java-sdk-efs 1.12.189
com.amazonaws aws-java-sdk-elasticache 1.12.189
com.amazonaws aws-java-sdk-elasticbeanstalk 1.12.189
com.amazonaws aws-java-sdk-elasticloadbalancing 1.12.189
com.amazonaws aws-java-sdk-elastictranscoder 1.12.189
com.amazonaws aws-java-sdk-emr 1.12.189
com.amazonaws AWS Java SDK per Glacier 1.12.189
com.amazonaws aws-java-sdk-glue (collegamento SDK Java AWS) 1.12.189
com.amazonaws aws-java-sdk-iam 1.12.189
com.amazonaws aws-java-sdk-importexport 1.12.189
com.amazonaws aws-java-sdk-kinesis 1.12.189
com.amazonaws aws-java-sdk-kms 1.12.189
com.amazonaws aws-java-sdk-lambda 1.12.189
com.amazonaws aws-java-sdk-logs 1.12.189
com.amazonaws AWS Java SDK Machine Learning 1.12.189
com.amazonaws aws-java-sdk-opsworks 1.12.189
com.amazonaws aws-java-sdk-rds 1.12.189
com.amazonaws aws-java-sdk-redshift 1.12.189
com.amazonaws aws-java-sdk-route53 1.12.189
com.amazonaws aws-java-sdk-s3 1.12.189
com.amazonaws aws-java-sdk-ses 1.12.189
com.amazonaws aws-java-sdk-simpledb 1.12.189
com.amazonaws aws-java-sdk-simpleworkflow 1.12.189
com.amazonaws aws-java-sdk-sns 1.12.189
com.amazonaws aws-java-sdk-sqs 1.12.189
com.amazonaws aws-java-sdk-ssm 1.12.189
com.amazonaws aws-java-sdk-storagegateway (SDK di AWS per Java per Storage Gateway) 1.12.189
com.amazonaws aws-java-sdk-sts 1.12.189
com.amazonaws aws-java-sdk-support (supporto del kit di sviluppo software Java per AWS) 1.12.189
com.amazonaws Librerie aws-java-sdk-swf 1.11.22
com.amazonaws aws-java-sdk-workspaces 1.12.189
com.amazonaws jmespath-java 1.12.189
com.chuusai shapeless_2.12 2.3.3
com.clearspring.analytics torrente 2.9.6
com.databricks Rserve 1.8-3
com.databricks jets3t 0.7.1-0
com.databricks.scalapb compilerplugin_2.12 0.4.15-10
com.databricks.scalapb scalapb-runtime_2.12 0.4.15-10
com.esotericsoftware ombreggiato criogenico 4.0.2
com.esotericsoftware minlog 1.3.0
com.fasterxml compagno di classe 1.3.4
com.fasterxml.jackson.core annotazioni jackson 2.12.3
com.fasterxml.jackson.core jackson-core 2.12.3
com.fasterxml.jackson.core jackson-databind 2.12.3
com.fasterxml.jackson.dataformat jackson-dataformat-cbor 2.12.3
com.fasterxml.jackson.datatype jackson-datatype-joda 2.12.3
com.fasterxml.jackson.module jackson-module-paranamer 2.12.3
com.fasterxml.jackson.module jackson-module-scala_2.12 2.12.3
com.github.ben-manes.caffeine caffeina 2.3.4
com.github.fommil jniloader 1.1
com.github.fommil.netlib nucleo 1.1.2
com.github.fommil.netlib riferimento_nativo-java 1.1
com.github.fommil.netlib native_ref-java-natives (riferimenti a nativi Java) 1.1
com.github.fommil.netlib sistema_nativo-java 1.1
com.github.fommil.netlib sistema_nativo-java-nitidi 1.1
com.github.fommil.netlib "netlib-native_ref-linux-x86_64-natives" 1.1
com.github.fommil.netlib netlib-sistema_nativo-linux-x86_64-natives 1.1
com.github.luben zstd-jni (libreria open-source per compressione con Java Native Interface) 1.5.0-4
com.github.wendykierp JTransforms 3.1
com.google.code.findbugs jsr305 3.0.0
com.google.code.gson gson 2.8.6
com.google.crypto.tink Tink 1.6.0
com.google.flatbuffers flatbuffers-java 1.9.0
com.google.guava guaiava 15,0
com.google.protobuf protobuf-java 2.6.1
com.h2database h2 2.1.210
com.helger profilatore 1.1.1
com.jcraft jsch 0.1.50
com.jolbox bonecp 0.8.0.RILASCIO
com.lihaoyi sourcecode_2.12 0.1.9
com.microsoft.azure Azure Data Lake Store SDK 2.3.9
com.ning compress-lzf (algoritmo di compressione) 1.0.3
com.sun.istack istack-commons-runtime 3.0.8
com.sun.mail javax.mail (package Java per la gestione della posta elettronica) 1.5.2
com.tdunning JSON 1.8
com.thoughtworks.paranamer paranamer 2.8
com.trueaccord.lenses lenti_2.12 0.4.12
com.twitter chill-java 0.10.0
com.twitter chill_2.12 0.10.0
com.twitter util-app_2.12 7.1.0
com.twitter util-core_2.12 7.1.0
com.twitter util-function_2.12 7.1.0
com.twitter util-jvm_2.12 7.1.0
com.twitter util-lint_2.12 7.1.0
com.twitter util-registry_2.12 7.1.0
com.twitter util-stats_2.12 7.1.0
com.typesafe configurazione 1.2.1
com.typesafe.scala-logging scala-logging_2.12 (libreria per la gestione dei log in Scala, versione 2.12) 3.7.2
com.univocity univocità-parser 2.9.1
com.zaxxer HikariCP 4.0.3
commons-cli commons-cli 1,2
commons-codec (libreria per la codifica comune) commons-codec (libreria per la codifica comune) 1.15
collezioni-comuni collezioni-comuni 3.2.2
commons-dbcp commons-dbcp 1.4
funzione di caricamento file dei Commons funzione di caricamento file dei Commons 1.3.3
commons-httpclient commons-httpclient 3.1
commons-io commons-io 2.8.0
commons-lang commons-lang 2.6
commons-logging (no translation needed) commons-logging (no translation needed) 1.1.3
commons-net commons-net 3.1
commons-pool commons-pool 1.5.4
dev.ludovic.netlib arpack 2.2.1
dev.ludovic.netlib Blas 2.2.1
dev.ludovic.netlib LAPACK 2.2.1
hive-2.3__hadoop-3.2 jets3t-0.7 liball_deps_2.12
info.ganglia.gmetric4j gmetric4j 1.0.10
io.airlift compressore d'aria 0.21
io.delta delta-sharing-spark_2.12 0.4.0
io.dropwizard.metrics nucleo delle metriche 4.1.1
io.dropwizard.metrics metrics-graphite 4.1.1
io.dropwizard.metrics metriche-controlli di salute 4.1.1
io.dropwizard.metrics metrics-jetty9 4.1.1
io.dropwizard.metrics metrics-jmx 4.1.1
io.dropwizard.metrics metrics-json (Specificare ulteriormente se necessario a seconda del contesto) 4.1.1
io.dropwizard.metrics metrics-jvm 4.1.1
io.dropwizard.metrics metriche-servlet 4.1.1
io.netty netty-all 4.1.68.Final
io.prometheus simpleclient 0.7.0
io.prometheus sempliceclient_comune 0.7.0
io.prometheus simpleclient_dropwizard 0.7.0
io.prometheus simpleclient_pushgateway 0.7.0
io.prometheus simpleclient_servlet 0.7.0
io.prometheus.jmx agente di raccolta 0.12.0
jakarta.annotation jakarta.annotation-api 1.3.5
jakarta.servlet jakarta.servlet-api 4.0.3
jakarta.validation jakarta.validation-api 2.0.2
jakarta.ws.rs jakarta.ws.rs-api 2.1.6
javax.activation attivazione 1.1.1
javax.annotation javax.annotation-api 1.3.2
javax.el javax.el-api 2.2.4
javax.jdo jdo-api 3.0.1
javax.transaction Java Transaction API (JTA) 1.1
javax.transaction API per le transazioni 1.1
javax.xml.bind jaxb-api 2.2.2
javax.xml.flusso stax-api 1.0-2
javolution javolution 5.5.1
jline jline 2.14.6
joda-time joda-time 2.10.10
log4j apache-log4j-extras 1.2.17
log4j log4j 1.2.17
alberi di Maven hive-2.3__hadoop-3.2 liball_deps_2.12
net.java.dev.jna jna 5.8.0
net.razorvine pirolite 04.30
net.sf.jpam jpam 1.1
net.sf.opencsv opencsv 2.3
net.sf.supercsv super-csv (formato CSV avanzato) 2.2.0
net.snowflake snowflake-ingest-sdk (kit di sviluppo software per l'ingestione dati) 0.9.6
net.snowflake snowflake-jdbc 3.13.3
net.snowflake spark-snowflake_2.12 2.9.0-spark_3.1
net.sourceforge.f2j arpack_combinato_tutto 0,1
org.acplt.remotetea remotetea-oncrpc 1.1.2
org.antlr ST4 4.0.4
org.antlr antlr-runtime 3.5.2
org.antlr antlr4-runtime 4.8
org.antlr modello di stringa 3.2.1
org.apache.ant formica 1.9.2
org.apache.ant ant-jsch 1.9.2
org.apache.ant ant launcher 1.9.2
org.apache.arrow formato freccia 2.0.0
org.apache.arrow arrow-nucleo-di-memoria 2.0.0
org.apache.arrow arrow-memory-netty 2.0.0
org.apache.arrow freccia-vettore 2.0.0
org.apache.avro Avro 1.10.2
org.apache.avro avro-ipc 1.10.2
org.apache.avro avro-mapred 1.10.2
org.apache.commons commons-compress 1.21
org.apache.commons commons-crypto 1.1.0
org.apache.commons commons-lang3 3.12.0
org.apache.commons commons-math3 3.4.1
org.apache.commons testo comune 1.6
org.apache.curator curatore-cliente 2.13.0
org.apache.curator curator-framework 2.13.0
org.apache.curator ricette curatori 2.13.0
org.apache.derby derby sportivo 10.14.2.0
org.apache.hadoop hadoop-client-api 3.3.2-databricks
org.apache.hadoop runtime del client Hadoop 3.3.2
org.apache.hive hive-beeline 2.3.9
org.apache.hive hive-cli 2.3.9
org.apache.hive Hive-JDBC 2.3.9
org.apache.hive hive-llap-client 2.3.9
org.apache.hive hive-llap-common 2.3.9
org.apache.hive hive-serde 2.3.9
org.apache.hive spessori del sistema Hive 2.3.9
org.apache.hive API di archiviazione Hive 2.7.2
org.apache.hive.shims hive-shims-0.23 2.3.9
org.apache.hive.shims Hive-shims-common 2.3.9
org.apache.hive.shims hive-shims-scheduler 2.3.9
org.apache.httpcomponents httpclient 4.5.13
org.apache.httpcomponents httpcore 4.4.12
org.apache.ivy Edera 2.5.0
org.apache.mesos mesos-shaded-protobuf 1.4.0
org.apache.orc orc-core 1.6.13
org.apache.orc orc-mapreduce 1.6.13
org.apache.orc orc-shims 1.6.13
org.apache.parquet Parquet Column 1.12.0-databricks-0004
org.apache.parquet parquet-comune 1.12.0-databricks-0004
org.apache.parquet codifica parquet 1.12.0-databricks-0004
org.apache.parquet strutture in formato parquet 1.12.0-databricks-0004
org.apache.parquet parquet-hadoop 1.12.0-databricks-0004
org.apache.parquet parquet-jackson 1.12.0-databricks-0004
org.apache.thrift libfb303 0.9.3
org.apache.thrift libthrift 0.12.0
org.apache.xbean xbean-asm9-shaded 4.20
org.apache.yetus annotazioni del pubblico 0.5.0
org.apache.zookeeper guardiano dello zoo 3.6.2
org.apache.zookeeper guardiano dello zoo-juta 3.6.2
org.checkerframework verificatore qualità 3.5.0
org.codehaus.jackson jackson-core-asl 1.9.13
org.codehaus.jackson jackson-mapper-asl 1.9.13
org.codehaus.janino Commons-Compiler 3.0.16
org.codehaus.janino janino 3.0.16
org.datanucleus datanucleus-api-jdo 4.2.4
org.datanucleus datanucleus-core 4.1.17
org.datanucleus datanucleus-rdbms 4.1.19
org.datanucleus javax.jdo 3.2.0-m3
org.eclipse.jetty jetty-client 9.4.43.v20210629
org.eclipse.jetty continuazione di jetty 9.4.43.v20210629
org.eclipse.jetty jetty-http 9.4.43.v20210629
org.eclipse.jetty jetty-io 9.4.43.v20210629
org.eclipse.jetty jetty-jndi 9.4.43.v20210629
org.eclipse.jetty Jetty Plus 9.4.43.v20210629
org.eclipse.jetty jetty-proxy 9.4.43.v20210629
org.eclipse.jetty sicurezza del molo 9.4.43.v20210629
org.eclipse.jetty Jetty Server 9.4.43.v20210629
org.eclipse.jetty jetty-servlet 9.4.43.v20210629
org.eclipse.jetty jetty-servlets 9.4.43.v20210629
org.eclipse.jetty jetty-util 9.4.43.v20210629
org.eclipse.jetty jetty-util-ajax 9.4.43.v20210629
org.eclipse.jetty applicazione web di Jetty 9.4.43.v20210629
org.eclipse.jetty jetty-xml 9.4.43.v20210629
org.eclipse.jetty.websocket WebSocket-API 9.4.43.v20210629
org.eclipse.jetty.websocket cliente WebSocket 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-comune 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-server 9.4.43.v20210629
org.eclipse.jetty.websocket websocket-servlet 9.4.43.v20210629
org.fusesource.leveldbjni leveldbjni-all 1.8
org.glassfish.hk2 hk2-api 2.6.1
org.glassfish.hk2 hk2-localizzatore 2.6.1
org.glassfish.hk2 hk2-utils 2.6.1
org.glassfish.hk2 localizzatore di risorse OSGi 1.0.3
org.glassfish.hk2.external aopalliance-repackaged (riconfezionato) 2.6.1
org.glassfish.hk2.external jakarta.inject 2.6.1
org.glassfish.jaxb jaxb-runtime 2.3.2
org.glassfish.jersey.containers jersey-container-servlet (servlet del contenitore Jersey) 2,34
org.glassfish.jersey.containers modulo-nucleo-servlet-contenitore-jersey (if a translation is required as per the context) 2,34
org.glassfish.jersey.core jersey-client 2,34
org.glassfish.jersey.core jersey-comune 2,34
org.glassfish.jersey.core Jersey-server 2,34
org.glassfish.jersey.inject jersey-hk2 2,34
org.hibernate.validator validatore di Hibernate 6.1.0.Final
org.javassist javassist 3.25.0-GA
org.jboss.logging jboss-logging (strumento di registrazione per JBoss) 3.3.2.Finale
org.jdbi jdbi 2.63.1
org.jetbrains annotazioni 17.0.0
org.joda joda-convert 1.7
org.jodd jodd-core 3.5.2
org.json4s json4s-ast_2.12 3.7.0-M11
org.json4s json4s-core_2.12 3.7.0-M11
org.json4s json4s-jackson_2.12 3.7.0-M11
org.json4s json4s-scalap_2.12 3.7.0-M11
org.lz4 lz4-java 1.7.1
org.mariadb.jdbc mariadb-java-client - Libreria Java per MariaDB 2.2.5
org.objenesis objenesis 2.5.1
org.postgresql postgresql 42.2.19
org.roaringbitmap RoaringBitmap 0.9.14
org.roaringbitmap Lamine di regolazione 0.9.14
org.rocksdb rocksdbjni 6.20.3
org.rosuda.REngine REngine 2.1.0
org.scala-lang scala-compiler_2.12 2.12.14
org.scala-lang scala-library_2.12 2.12.14
org.scala-lang scala-reflect_2.12 2.12.14
org.scala-lang.modules scala-collection-compat_2.12 2.4.3
org.scala-lang.modules scala-parser-combinators_2.12 1.1.2
org.scala-lang.modules scala-xml_2.12 1.2.0
org.scala-sbt interfaccia di prova 1.0
org.scalacheck scalacheck_2.12 1.14.2
org.scalactic scalactic_2.12 3.0.8
org.scalanlp breeze-macros_2.12 1,2
org.scalanlp breeze_2.12 1,2
org.scalatest scalatest_2.12 3.0.8
org.slf4j jcl-over-slf4j 1.7.30
org.slf4j jul-to-slf4j 1.7.30
org.slf4j slf4j-api 1.7.30
org.slf4j slf4j-log4j12 1.7.30
org.spark-project.spark inutilizzato 1.0.0
org.threeten threeten-extra 1.5.0
org.tukaani xz 1.8
org.typelevel algebra_2.12 2.0.1
org.typelevel cats-kernel_2.12 2.1.1
org.typelevel macro-compat_2.12 1.1.1
org.typelevel spire-macros_2.12 0.17.0
org.typelevel spire-platform_2.12 0.17.0
org.typelevel spire-util_2.12 0.17.0
org.typelevel spire_2.12 0.17.0
org.wildfly.openssl wildfly-openssl 1.0.7.Finale
org.xerial sqlite-jdbc 3.8.11.2
org.xerial.snappy snappy-java 1.1.8.4
org.yaml snakeyaml 1.24
oro oro 2.0.8
pl.edu.icm JLargeArrays 1,5
software.amazon.ion ion-java 1.0.2
Stax stax-api 1.0.1
  • Last updated on