Databricks Runtime 15.0 voor Machine Learning (EoS)

Opmerking

Ondersteuning voor deze Databricks Runtime-versie is beëindigd. Zie Beëindiging van ondersteuning en einde levenscyclus geschiedenis voor de einddatum van de ondersteuning. Voor alle ondersteunde Databricks Runtime-versies, zie Databricks Runtime release-opmerkingen over versies en compatibiliteit.

Databricks Runtime 15.0 voor Machine Learning biedt een gebruiksklare omgeving voor machine learning en datawetenschap op basis van Databricks Runtime 15.0 (EoS). Databricks Runtime ML bevat veel populaire machine learning-bibliotheken, waaronder TensorFlow, PyTorch en XGBoost. Databricks Runtime ML bevat AutoML, een hulpprogramma voor het automatisch trainen van machine learning-pijplijnen. Databricks Runtime ML biedt ook ondersteuning voor gedistribueerde Deep Learning-training met behulp van Horovod.

Nieuwe functies en verbeteringen

Databricks Runtime 15.0 ML is gebouwd op Databricks Runtime 15.0. Zie de releaseopmerkingen van Databricks Runtime 15.0, waaronder Apache Spark MLlib en SparkR, voor informatie over wat er nieuw is in Databricks Runtime 15.0 (EoS ).

Brekende wijzigingen

Verouderde Databricks CLI is niet meer standaard geïnstalleerd

In Databricks Runtime 14.3 LTS ML en hieronder, omdat de vooraf geïnstalleerde versie van MLflow de verouderde Databricks CLI (databricks/databricks-cli) vereist, is deze automatisch geïnstalleerd in $PATH. Databricks Runtime 15.0 ML bevat MLflow versie 2.10.2, waarvoor de verouderde CLI niet is vereist.

Vanaf Databricks Runtime 15.0 ML wordt de verouderde Databricks CLI niet meer automatisch geïnstalleerd in $PATH. Dit is een belangrijke wijziging voor gebruikers die afhankelijk zijn van de verouderde CLI die in de runtime wordt geïnstalleerd. Opdrachten zoals %sh databricks ... werken niet meer in Databricks Runtime 15.0 ML en hoger.

Als u de verouderde Databricks CLI vanuit een notebook wilt blijven gebruiken, installeert u deze als een cluster- of notebookbibliotheek. De nieuwe Databricks CLI (databricks/cli) is beschikbaar via de webterminal. Zie Webterminal en Databricks CLI gebruiken voor meer informatie.

MLeap is niet meer beschikbaar vanaf Databricks Runtime 15.0 ML

MLeap is niet meer beschikbaar in Databricks Runtime 15.0 ML en hoger. Databricks raadt het gebruik van de ONNX-indeling aan om modellen voor implementatie in JVM-frameworks te verpakken.

Afschaffing van Horovod en HorovodRunner

Horovod en HorovodRunner zijn nu afgeschaft. Voor gedistribueerde deep learning raadt Databricks aan om TorchDistributor te gebruiken voor gedistribueerde training met PyTorch of de tf.distribute.Strategy API voor gedistribueerde training met TensorFlow. Horovod en HorovodRunner zijn vooraf geïnstalleerd in Databricks Runtime 15.0 ML, maar worden verwijderd in de volgende primaire Databricks Runtime ML-versie.

Opmerking

horovod.spark biedt geen ondersteuning voor pyarrow-versies 11.0 en hoger (zie de relevante GitHub Issue). Databricks Runtime 15.0 ML bevat pyarrow versie 14.0.1. Als u wilt gebruiken horovod.spark met Databricks Runtime 15.0 ML of hoger, moet u pyarrow handmatig installeren en een versie lager dan 11.0 opgeven.

Systeemomgeving

De systeemomgeving in Databricks Runtime 15.0 ML verschilt als volgt van Databricks Runtime 15.0:

  • Voor GPU-clusters bevat Databricks Runtime ML de volgende NVIDIA GPU-bibliotheken:
    • CUDA 12.1
    • cuDNN 8.9.0.131-1
    • NCCL 2.17.1
    • TensorRT 8.6.1.6-1

Libraries

In de volgende secties worden de bibliotheken vermeld die zijn opgenomen in Databricks Runtime 15.0 ML die verschillen van de bibliotheken die zijn opgenomen in Databricks Runtime 15.0.

In deze sectie:

Bibliotheken van topklasse

Databricks Runtime 15.0 ML bevat de volgende eersteklas bibliotheken:

Python bibliotheken

Databricks Runtime 15.0 ML maakt gebruik van virtualenv voor Python pakketbeheer en bevat veel populaire ML-pakketten.

Naast de pakketten die in de volgende secties zijn opgegeven, bevat Databricks Runtime 15.0 ML ook de volgende pakketten:

  • hyperopt 0.2.7+db4
  • sparkdl-3.0.0_db1
  • automl 1.25.0

Als u de Databricks Runtime ML-Python-omgeving in uw lokale Python virtuele omgeving wilt reproduceren, downloadt u het bestand requirements-15.0.txt en voert u pip install -r requirements-15.0.txt uit. Met deze opdracht worden alle open source bibliotheken geïnstalleerd die door Databricks Runtime ML worden gebruikt, maar worden geen bibliotheken geïnstalleerd die zijn ontwikkeld door Databricks, zoals databricks-automl, databricks-feature-store of de Databricks-fork van hyperopt.

Python bibliotheken op CPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi koppelstukken 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchrone timeout 4.0.2
kenmerken 22.1.0 audiolezen 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Azure Storage File Data Lake 12.14.0
terugroepactie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
zwart 23.3.0 bleekmiddel 4.1.0 zalig 1.20.0
knipperlicht 1.4 geluk 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 catalogus 2.0.10
category-encoders 2.6.3 certificaat 2023.7.22 cffi 1.15.1
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
kleurrijk 0.5.6 communicatie 0.1.2 suikergoed 0.1.4
configparser 5.2.0 contourpy 1.0.5 cryptografie 41.0.3
wielrijder 0.11.0 cymem 2.0.8 Cython 0.29.32
daciet 1.8.1 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.21 Databricks functie-ontwikkeling 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 gegevenssets 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorateur 5.1.1 deepspeed 0.13.1 defusedxml 0.7.1
dille 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 invoerpunten 0,4 beoordelen 0.4.1
Uitvoeren 0.8.3 facettenoverzicht 1.1.1 Farama-Meldingen 0.0.4
fastjsonschema 2.19.1 fasttext 0.9.2 bestandsvergrendeling 3.9.0
Flacon 2.2.5 FlatBuffers 23.5.26 lettertypegereedschappen 4.25.0
bevroren lijst 1.3.3 fsspec 2023.5.0 toekomst 0.18.3
gast 0.4.0 gitdb 4.0.11 GitPython 3.1.27
google-api-core 2.17.1 google-auth 2.21.0 google-auth-oauthlib 1.0.0
google-cloud-core 2.4.1 Google Cloud Storage (opslag in de cloud van Google) 2.11.0 google-crc32c 1.5.0
Google-pasta 0.2.0 google-resumable-media 2.7.0 googleapis-common-protos 1.62.0
gpustat 1.1.1 greenlet (een mechanisme voor het beheren van microprocessen in Python) 2.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gymnastiekzaal 0.28.1 h11 0.14.0 h5py 3.9.0
hjson 3.1.0 vakantie 0,38 horovod (Russische volksdans) 0.28.1+db1
htmlmin 0.1.12 httpcore 1.0.4 httplib2 0.20.2
httpx 0.27.0 huggingface-hub 0.20.2 IDNA 3.4
ImageHash 4.3.1 imageio 2.31.1 onevenwichtig leren 0.11.0
importlib-metadata 6.0.0 "importlib_resources is een Python-pakket dat hulpbronnenbeheer mogelijk maakt binnen de applicatie." 6.1.2 ipyflow-core 0.0.198
ipykernel 6.25.1 ipython 8.15.0 ipython-genutils 0.2.0
ipywidgets 8.0.4 isodate 0.6.1 hetisgevarlijk 2.0.1
jax-jumpy 1.0.0 Jedi 0.18.1 Jeepney (typisch Filipijns openbaar vervoermiddel) 0.7.1
Jinja2 3.1.2 jmespath 0.10.0 joblib 1.2.0
joblibspark 0.5.1 jsonpatch 1.33 jsonpointer 2.4
jsonschema 4.17.3 jupyter-server 1.23.4 jupyter_client 7.4.9
jupyter_core 5.3.0 jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5
hard 2.15.0 sleutelring 23.5.0 kiwisolver 1.4.4
langchain 0.1.3 langchain community 0.0.20 langchain-core 0.1.23
langcodes 3.3.0 langsmith 0.0.87 launchpadlib 1.10.16
lazr.restfulclient 0.14.4 lazr.uri 1.0.6 lazy_loader 0.2
libclang 16.0.6 librosa 0.10.1 lightgbm 4.2.0
llvmlite 0.40.0 lxml 4.9.2 lz4 4.3.2
Mako 1.2.0 Markdown 3.4.1 markdown-it-py 2.2.0
MarkupSafe 2.1.1 spekje 3.21.1 matplotlib 3.7.2
matplotlib-inline 0.1.6 mdurl 0.1.0 onstemmen 0.8.4
ml-dtypes 0.2.0 mlflow-skinny 2.10.2 more-itertools 8.10.0
mpmath 1.3.0 msgpack 1.0.8 meervoudig woordenboek 6.0.2
multimethode 1.11.2 meerdere processen 0.70.14 murmurhash 1.0.10
mypy-extensions 0.4.3 nbclassic 0.5.5 nbclient 0.5.13
nbconvert 6.5.4 nbformat 5.7.0 nest-asyncio 1.5.6
networkx 3.1 ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1
notebook 6.5.4 notitieboek_shim 0.2.2 numba 0.57.1
numpy 1.23.5 nvidia-ml-py 12.535.133 oauthlib 3.2.0
openai 1.9.0 opencensus 0.11.4 opencensus-context 0.1.3
opt-einsum 3.3.0 verpakking 23.2 Pandas 2.0.3
pandocfilters 1.5.0 paramiko 2.9.2 parso 0.8.3
pathspec 0.10.3 Patsy 0.5.3 petastorm 0.12.1
pexpect 4.8.0 "Phik" 0.12.4 pickleshare 0.7.5
Kussen 9.4.0 ropje 23.2.1 platformdirs 3.10.0
plotly 5.9.0 pmdarima 2.0.4 hondje 1.8.1
vooraf bewerkt 3.0.9 prometheus-client 0.14.1 prompt-hulpmiddelenpakket 3.0.36
profeet 1.1.5 protocolbuffers 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 8.0.0 py-spy 0.3.14 pyarrow 14.0.1
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.11.1 pyccolo 0.0.52 pycparser 2.21
pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 Pygments 2.15.1 PyGObject 3.42.1
PyJWT 2.3.0 PyNaCl 1.5.0 pynvml 11.5.0
pyodbc 4.0.38 pyparsing 3.0.9 pyrsistent 0.18.0
pytesseract 0.3.10 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2 python-bewerker 1.0.4
python-lsp-jsonrpc 1.1.1 pytz 2022.7 PyWavelets 1.4.1
PyYAML 6,0 pyzmq 23.2.0 straal 2.9.3
regex 2022.7.9 Verzoeken 2.31.0 requests-oauthlib 1.3.1
Reacties 0.13.3 rijk 13.7.1 rsa 4.9
s3transfer 0.10.0 safetensors 0.3.2 scikit-image 0.20.0
scikit-learn 1.3.0 Scipy (een wetenschappelijke bibliotheek voor Python) 1.11.1 geboren op zee 0.12.2
SecretStorage 3.3.1 Send2Trash 1.8.0 Sentence-Transformers 2.2.2
zinsstuk 0.1.99 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 68.0.0 vorm 0.44.0
simplejson 3.17.6 Zes 1.16.0 Snijmachine 0.0.7
geavanceerd openen 5.2.1 smmap 5.0.0 sniffio 1.2.0
geluidsbestand 0.12.1 Soupsieve 2.4 soxr 0.3.7
spatie 3.7.2 spacy-legacy 3.0.12 spacy-loggers 1.0.5
spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39 sqlparse 0.4.2
Serieus? 2.4.8 ssh-import-id 5.11 stapelgegevens 0.2.0
stanio 0.3.0 statsmodels 0.14.0 sympy 1.11.1
tangled-up-in-unicode 0.2.0 vasthoudendheid 8.2.2 Tensorbord 2.15.1
tensorboard-data-server (gegevensserver) 0.7.2 tensorboard-plugin-profiel 2.15.0 tensorboardX 2.6.2.2
tensorflow-cpu 2.15.0 tensorflow-estimator 2.15.0 tensorflow-io-gcs-filesystem 0.36.0
termcolor 2.4.0 afgerond 0.17.1 thinc 8.2.3
threadpoolctl 2.2.0 tifffile 2021.7.2 tiktoken 0.5.2
tinycss2 1.2.1 tokenize-rt 4.2.1 tokeniseerders 0.15.0
fakkel 2.1.2+cpu torcheval 0.0.7 fakkelvisie 0.16.2+cpu
tornado 6.3.2 tqdm 4.65.0 Traitlets (Python library voor het configureren van Python-objecten) 5.7.1
Transformatoren 4.36.2 typebeveiliging 2.13.3 Typeren 0.9.0
typinspectie 0.9.0 typing_extensions 4.7.1 tzdata 2022.1
ujson 5.4.0 ongecontroleerde upgrades 0,1 urllib3 1.26.16
virtualenv 20.21.0 Visionen 0.7.5 wadllib 1.3.6
wasabi 1.1.2 wcwidth 0.2.5 wezel 0.3.4
Webencoderingen 0.5.1 websocket-client 0.58.0 gereedschap 2.2.3
wiel 0.38.4 widgetsnbextension 4.0.5 woordwolk 1.9.3
omsloten 1.14.1 xgboost 2.0.3 xxhash 3.4.1
yarl 1.8.1 ydata-profiling 4.5.1 ritssluiting 3.11.0

Python bibliotheken op GPU-clusters

Bibliotheek Versie Bibliotheek Versie Bibliotheek Versie
absl-py 1.0.0 versnellen 0.25.0 aiohttp 3.8.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 anyio 3.5.0
argon2-cffi 21.3.0 argon2-cffi koppelstukken 21.2.0 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynchrone timeout 4.0.2
kenmerken 22.1.0 audiolezen 3.0.1 azure-core 1.30.1
azure-cosmos 4.3.1 azure-storage-blob 12.19.0 Azure Storage File Data Lake 12.14.0
terugroepactie 0.2.0 bcrypt 3.2.0 beautifulsoup4 4.12.2
zwart 23.3.0 bleekmiddel 4.1.0 zalig 1.20.0
knipperlicht 1.4 geluk 0.7.11 boto3 1.34.39
botocore 1.34.39 cachetools 5.3.3 catalogus 2.0.10
category-encoders 2.6.3 certificaat 2023.7.22 cffi 1.15.1
chardet 4.0.0 charset-normalizer 2.0.4 klikken 8.0.4
cloudpathlib 0.16.0 cloudpickle 2.2.1 cmdstanpy 1.2.1
kleurrijk 0.5.6 communicatie 0.1.2 suikergoed 0.1.4
configparser 5.2.0 contourpy 1.0.5 cryptografie 41.0.3
wielrijder 0.11.0 cymem 2.0.8 Cython 0.29.32
daciet 1.8.1 databricks-automl-runtime (automatische machine learning omgeving van Databricks) 0.2.21 Databricks functie-ontwikkeling 0.3.0
databricks-sdk 0.20.0 dataclasses-json 0.6.4 gegevenssets 2.16.1
dbl-tempo 0.1.26 dbus-python 1.2.18 debugpy 1.6.7
decorateur 5.1.1 deepspeed 0.13.1 defusedxml 0.7.1
dille 0.3.6 diskcache 5.6.3 distlib 0.3.8
dm-tree 0.1.8 einops 0.7.0 invoerpunten 0,4
beoordelen 0.4.1 Uitvoeren 0.8.3 facettenoverzicht 1.1.1
Farama-Meldingen 0.0.4 fastjsonschema 2.19.1 fasttext 0.9.2
bestandsvergrendeling 3.9.0 flash-attn 2.5.0 Flacon 2.2.5
FlatBuffers 23.5.26 lettertypegereedschappen 4.25.0 bevroren lijst 1.3.3
fsspec 2023.5.0 toekomst 0.18.3 gast 0.4.0
gitdb 4.0.11 GitPython 3.1.27 google-api-core 2.17.1
google-auth 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
Google Cloud Storage (opslag in de cloud van Google) 2.11.0 google-crc32c 1.5.0 Google-pasta 0.2.0
google-resumable-media 2.7.0 googleapis-common-protos 1.62.0 gpustat 1.1.1
greenlet (een mechanisme voor het beheren van microprocessen in Python) 2.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 gymnastiekzaal 0.28.1
h11 0.14.0 h5py 3.9.0 hjson 3.1.0
vakantie 0,38 horovod (Russische volksdans) 0.28.1+db1 htmlmin 0.1.12
httpcore 1.0.4 httplib2 0.20.2 httpx 0.27.0
huggingface-hub 0.20.2 IDNA 3.4 ImageHash 4.3.1
imageio 2.31.1 onevenwichtig leren 0.11.0 importlib-metadata 6.0.0
"importlib_resources is een Python-pakket dat hulpbronnenbeheer mogelijk maakt binnen de applicatie." 6.1.2 ipyflow-core 0.0.198 ipykernel 6.25.1
ipython 8.15.0 ipython-genutils 0.2.0 ipywidgets 8.0.4
isodate 0.6.1 hetisgevarlijk 2.0.1 jax-jumpy 1.0.0
Jedi 0.18.1 Jeepney (typisch Filipijns openbaar vervoermiddel) 0.7.1 Jinja2 3.1.2
jmespath 0.10.0 joblib 1.2.0 joblibspark 0.5.1
jsonpatch 1.33 jsonpointer 2.4 jsonschema 4.17.3
jupyter-server 1.23.4 jupyter_client 7.4.9 jupyter_core 5.3.0
jupyterlab-pygments 0.1.2 jupyterlab-widgets 3.0.5 hard 2.15.0
sleutelring 23.5.0 kiwisolver 1.4.4 langchain 0.1.3
langchain community 0.0.20 langchain-core 0.1.23 langcodes 3.3.0
langsmith 0.0.87 launchpadlib 1.10.16 lazr.restfulclient 0.14.4
lazr.uri 1.0.6 lazy_loader 0.2 libclang 16.0.6
librosa 0.10.1 lightgbm 4.2.0 llvmlite 0.40.0
lxml 4.9.2 lz4 4.3.2 Mako 1.2.0
Markdown 3.4.1 markdown-it-py 2.2.0 MarkupSafe 2.1.1
spekje 3.21.1 matplotlib 3.7.2 matplotlib-inline 0.1.6
mdurl 0.1.0 onstemmen 0.8.4 ml-dtypes 0.2.0
mlflow-skinny 2.10.2 more-itertools 8.10.0 mpmath 1.3.0
msgpack 1.0.8 meervoudig woordenboek 6.0.2 multimethode 1.11.2
meerdere processen 0.70.14 murmurhash 1.0.10 mypy-extensions 0.4.3
nbclassic 0.5.5 nbclient 0.5.13 nbconvert 6.5.4
nbformat 5.7.0 nest-asyncio 1.5.6 networkx 3.1
ninja 1.11.1.1 Natural Language Toolkit (nltk) 3.8.1 notebook 6.5.4
notitieboek_shim 0.2.2 numba 0.57.1 numpy 1.23.5
nvidia-ml-py 12.535.133 oauthlib 3.2.0 openai 1.9.0
opencensus 0.11.4 opencensus-context 0.1.3 opt-einsum 3.3.0
verpakking 23.2 Pandas 2.0.3 pandocfilters 1.5.0
paramiko 2.9.2 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.3 petastorm 0.12.1 pexpect 4.8.0
"Phik" 0.12.4 pickleshare 0.7.5 Kussen 9.4.0
ropje 23.2.1 platformdirs 3.10.0 plotly 5.9.0
pmdarima 2.0.4 hondje 1.8.1 vooraf bewerkt 3.0.9
prompt-hulpmiddelenpakket 3.0.36 profeet 1.1.5 protocolbuffers 4.24.1
psutil 5.9.0 psycopg2 2.9.3 ptyprocess 0.7.0
pure-eval 0.2.2 py-cpuinfo 8.0.0 py-spy 0.3.14
pyarrow 14.0.1 pyarrow-hotfix 0,6 pyasn1 0.4.8
pyasn1-modules 0.2.8 pybind11 2.11.1 pyccolo 0.0.52
pycparser 2.21 pydantic (een Python-bibliotheek voor datavalidatie en instellingenbeheer) 1.10.6 Pygments 2.15.1
PyGObject 3.42.1 PyJWT 2.3.0 PyNaCl 1.5.0
pynvml 11.5.0 pyodbc 4.0.38 pyparsing 3.0.9
pyrsistent 0.18.0 pytesseract 0.3.10 python-dateutil (een bibliotheek voor datum- en tijdgebaseerde functionaliteit in Python) 2.8.2
python-bewerker 1.0.4 python-lsp-jsonrpc 1.1.1 pytz 2022.7
PyWavelets 1.4.1 PyYAML 6,0 pyzmq 23.2.0
straal 2.9.3 regex 2022.7.9 Verzoeken 2.31.0
requests-oauthlib 1.3.1 Reacties 0.13.3 rijk 13.7.1
rsa 4.9 s3transfer 0.10.0 safetensors 0.3.2
scikit-image 0.20.0 scikit-learn 1.3.0 Scipy (een wetenschappelijke bibliotheek voor Python) 1.11.1
geboren op zee 0.12.2 SecretStorage 3.3.1 Send2Trash 1.8.0
Sentence-Transformers 2.2.2 zinsstuk 0.1.99 setuptools (een Python-pakket voor het beheren van installatie en distributie van pakketten) 68.0.0
vorm 0.44.0 simplejson 3.17.6 Zes 1.16.0
Snijmachine 0.0.7 geavanceerd openen 5.2.1 smmap 5.0.0
sniffio 1.2.0 geluidsbestand 0.12.1 Soupsieve 2.4
soxr 0.3.7 spatie 3.7.2 spacy-legacy 3.0.12
spacy-loggers 1.0.5 spark-tensorflow-distributor 1.0.0 SQLAlchemy 1.4.39
sqlparse 0.4.2 Serieus? 2.4.8 ssh-import-id 5.11
stapelgegevens 0.2.0 stanio 0.3.0 statsmodels 0.14.0
sympy 1.11.1 tangled-up-in-unicode 0.2.0 vasthoudendheid 8.2.2
Tensorbord 2.15.1 tensorboard-data-server (gegevensserver) 0.7.2 tensorboard-plugin-profiel 2.15.0
tensorboardX 2.6.2.2 TensorFlow 2.15.0 tensorflow-estimator 2.15.0
tensorflow-io-gcs-filesystem 0.36.0 termcolor 2.4.0 afgerond 0.17.1
thinc 8.2.3 threadpoolctl 2.2.0 tifffile 2021.7.2
tiktoken 0.5.2 tinycss2 1.2.1 tokenize-rt 4.2.1
tokeniseerders 0.15.0 fakkel 2.1.2+cu121 torcheval 0.0.7
fakkelvisie 0.16.2+cu121 tornado 6.3.2 tqdm 4.65.0
Traitlets (Python library voor het configureren van Python-objecten) 5.7.1 Transformatoren 4.36.2 Triton 2.1.0
typebeveiliging 2.13.3 Typeren 0.9.0 typinspectie 0.9.0
typing_extensions 4.7.1 tzdata 2022.1 ujson 5.4.0
ongecontroleerde upgrades 0,1 urllib3 1.26.16 virtualenv 20.21.0
Visionen 0.7.5 wadllib 1.3.6 wasabi 1.1.2
wcwidth 0.2.5 wezel 0.3.4 Webencoderingen 0.5.1
websocket-client 0.58.0 gereedschap 2.2.3 wiel 0.38.4
widgetsnbextension 4.0.5 woordwolk 1.9.3 omsloten 1.14.1
xgboost 2.0.3 xxhash 3.4.1 yarl 1.8.1
ydata-profiling 4.5.1 ritssluiting 3.11.0

R-bibliotheken

De R-bibliotheken zijn identiek aan de R-bibliotheken in Databricks Runtime 15.0.

Java en Scala-bibliotheken (Scala 2.12-cluster)

Naast Java en Scala-bibliotheken in Databricks Runtime 15.0 bevat Databricks Runtime 15.0 ML de volgende JAR's:

CPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-clusters

Groeps-id Artefact-ID Versie
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.2-db2-spark3.4
org.mlflow mlflow-client 2.10.2
org.scala-lang.modules scala-java8-compat_2.12 0.8.0
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on