Databricks Runtime 16.1 för Machine Learning (EoS)

Anmärkning

Stödet för den här Databricks Runtime-versionen har upphört. Information om slutdatumet för support finns i End-of-support and end-of-life history (Slut på support och historik för slutet av livet). Alla Databricks Runtime-versioner som stöds finns i Databricks Runtime-versionsanteckningar och kompatibilitet.

Databricks Runtime 16.1 för maskininlärning tillhandahåller en färdig miljö för maskininlärning och datavetenskap baserat på Databricks Runtime 16.1 (EoS). Databricks Runtime ML innehåller många populära maskininlärningsbibliotek, inklusive TensorFlow, PyTorch och XGBoost. Databricks Runtime ML innehåller AutoML-, ett verktyg för att automatiskt träna maskininlärningsflöden. Databricks Runtime ML stöder även distribuerad djupinlärningsträning med TorchDistributor, DeepSpeed och Ray.

Nya funktioner och förbättringar

Databricks Runtime 16.1 ML bygger på Databricks Runtime 16.1. Information om nyheter i Databricks Runtime 16.1, inklusive Apache Spark MLlib och SparkR, finns i releasenoter för Databricks Runtime 16.1 (EoS).

Systemmiljö

Systemmiljön i Databricks Runtime 16.1 ML skiljer sig från Databricks Runtime 16.1 på följande sätt.

  • För GPU-kluster innehåller Databricks Runtime ML följande NVIDIA GPU-bibliotek:
    • CUDA 12.6
    • cublas 12.6.0.22-1
    • cusolver 11.6.4.38-1
    • cupti 12.6.37-1
    • cusparse 12.5.2.23-1
    • cuDNN 9.3.0.75-1
    • NCCL 2.22.3
    • TensorRT 10.2.0.19-1

Bibliotek

I följande avsnitt visas de bibliotek som ingår i Databricks Runtime 16.1 ML som skiljer sig från de som ingår i Databricks Runtime 16.1.

I det här avsnittet:

Bibliotek på den översta nivån

Databricks Runtime 16.1 ML innehåller följande -bibliotek på den översta nivån:

Python bibliotek

Databricks Runtime 16.1 ML använder virtualenv för Python pakethantering och innehåller många populära ML-paket.

Förutom de paket som anges i följande avsnitt innehåller Även Databricks Runtime 16.1 ML följande paket:

  • hyperopt 0.2.9+db5
  • automl 1.29.0

Om du vill återskapa Databricks Runtime ML-Python miljön i din lokala Python virtuella miljö laddar du ned filen requirements-16.1.txt och kör pip install -r requirements-16.1.txt. Det här kommandot installerar alla open source bibliotek som Databricks Runtime ML använder, men installerar inte bibliotek som utvecklats av Databricks, till exempel databricks-automl, databricks-feature-engineering eller Databricks-förgrening av hyperopt.

Python bibliotek i CPU-kluster

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 1.0.0 accelerera 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 alembic 1.13.3
annoterade typer 0.7.0 anyio 4.2.0 argcomplete 3.5.0
argon2-cffi 21.3.0 argon2-cffi-bindningar 21.2.0 pil 1.2.3
Astor 0.8.1 asttokens 2.0.5 astunparse 1.6.3
asynkron-lru 2.0.4 egenskaper 23.1.0 ljudläsning 3.0.1
autokommandon 2.2.2 azure-core 1.31.0 azure-cosmos 4.3.1
azure-identity 1.18.0 azure-storage-blob (lagringstjänst i Azure) 12.23.1 Azure-lagring-fil-datainsjö 12.17.0
Babel 2.11.0 Tillbakadragande 2.2.1 backports.tarfile 1.2.0
bcrypt 3.2.0 beautifulsoup4 4.12.3 svart 24.4.2
blekmedel 4.1.0 körriktningsvisare 1.7.0 lycka 0.7.11
boto3 1.34.69 botocore 1.34.69 Brotli 1.0.9
cacheverktyg 5.3.3 katalog 2.0.10 kategorikodare 2.6.3
certifikat/certifiering 2024.6.2 cffi 1.16.0 chardet 4.0.0
charset-normalizer 2.0.4 kretsbrytare 2.0.0 klicka 8.1.7
cloudpathlib 0.19.0 cloudpickle 2.2.1 cmdstanpy 1.2.4
färgstark 0.5.6 colorlog 6.8.2 Kommunikation 0.2.1
kompositör 0.27.0 konfekt 0.1.5 configparser 5.2.0
konturritning 1.2.0 coolname 2.2.0 kryptografi 42.0.5
cyklist 0.11.0 cymem 2.0.10 Cython 3.0.11
dacite (en typ av vulkanisk bergart) 1.8.1 databricks-automl-runtime 0.2.21 Databricks-funktionsteknik 0.7.0
Databricks SDK 0.30.0 Datamängder 3.1.0 dbl-tempo 0.1.26
dbus-python 1.3.2 debugpy 1.6.7 dekoratör 5.1.1
DeepSpeed 0.16.0 defusedxml 0.7.1 Föråldrad 1.2.14
dill 0.3.8 distlib 0.3.8 dm-tree 0.1.8
Omvandling av docstring till markdown 0.11 inträdespunkter 0,4 evaluera 0.4.3
Exekvering 0.8.3 facetters översikt 1.1.1 Farama-Aviseringar 0.0.4
fastjsonschema 2.21.1 fasttext-hjul 0.9.2 fillåsning 3.13.1
Flaska 2.2.5 flatbuffers 24.3.25 fontverktyg 4.51.0
Fqdn 1.5.1 frystelista 1.4.0 fsspec 2023.5.0
framtid 0.18.3 Gast 0.4.0 gitdb 4.0.11
GitPython 3.1.37 google-api-core 2.20.0 Google-autentisering 2.21.0
google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1 google-cloud-storage (lagringstjänst från Google) 2.10.0
"google-crc32c" 1.6.0 Googlepasta 0.2.0 google-återupptagbar-media 2.7.2
googleapis-common-protos 1.65.0 gql 3.5.0 graphql-core 3.2.4
greenlet 3.0.1 grpcio 1.60.0 grpcio-status 1.60.0
gunicorn 20.1.0 gviz-api 1.10.0 gymnasieskola 0.28.1
h11 0.14.0 h5py 3.11.0 hjson 3.1.0
ferier 0.54 htmlmin 0.1.12 httpcore 1.0.5
httplib2 0.20.4 httpx 0.28.0 huggingface-hub 0.24.5
IDNA 3.7 ImageHash 4.3.1 imageio 2.33.1
obalanserad inlärning 0.12.3 importlib-metadata 6.0.0 importlib_resources 6.4.5
böja 7.3.1 ipyflow-core 0.0.201 ipykernel 6.28.0
ipython 8.25.0 ipython-genutils 0.2.0 ipywidgets 7.7.2
isodate 0.6.1 isoduration 20.11.0 det är farligt 2.2.0
jaraco.context 5.3.0 jaraco.functools 4.0.1 jaraco.text 3.12.1
jax-jumpy 1.0.0 Jedi 0.19.1 Jinja2 3.1.4
jiter 0.8.0 jmespath 1.0.1 joblib 1.4.2
Joblibspark 0.5.1 json5 0.9.6 jsonpatch 1,33
jsonpointer 3.0.0 jsonschema 4.19.2 jsonschema-specifikationer 2023.7.1
jupyter-händelser 0.10.0 jupyter-lsp 2.2.0 jupyter_client 8.6.0
jupyter_core 5.7.2 jupyter_server 2.14.1 jupyter_server_terminals 0.4.4
jupyterlab 4.0.11 jupyterlab-pygments 0.1.2 jupyterlab_server 2.25.1
Keras 3.6.0 kiwisolver (ett verktyg/programvara) 1.4.4 langchain 0.3.8
langchain-core 0.2.41 textdelare för langchain 0.2.4 språkkoder 3.4.1
langsmith 0.1.129 språkdata 1.2.0 launchpadlib 1.11.0
lazr.restfulclient 0.14.6 lazr.uri 1.0.6 trög laddare 0,4
libclang 15.0.6.1 librosa 0.10.2 lightgbm 4.5.0
blixtverktyg 0.11.9 linkify-it-py 2.0.0 llvmlite 0.42.0
lz4 4.3.2 Mako 1.2.0 marisa-trie 1.2.0
Markdown 3.4.1 markdown –it-py 2.2.0 MarkupSafe 2.1.3
matplotlib 3.8.4 matplotlib-inline 0.1.6 Mccabe 0.7.0
mdit-py-plugins 0.3.0 mdurl 0.1.0 memray 1.14.0
felstämd 2.0.4 ml-dtypes 0.4.1 mlflow-skinny 2.15.1
more-itertools 10.3.0 mosaicml-cli 0.6.41 mosaicml-streaming 0.8.0
mpmath 1.3.0 MSAL 1.31.1 msal-extensions 1.2.0
MessagePack 1.1.0 multidikt 6.0.4 flermetod 1.12
multiprocesshantering 0.70.16 murmurhash 1.0.11 mypy 1.10.0
mypy-extensions 1.0.0 namex 0.0.8 nbclient 0.8.0
nbconvert 7.10.0 nbformat 5.9.2 nest-asyncio 1.6.0
networkx bibliotek för nätverksanalys 3.2.1 ninja 1.11.1.1 nltk 3.8.1
nodeenv 1.9.1 anteckningsbok 7.0.8 anteckningsbok_shim 0.2.3
numba 0.59.1 numpy 1.26.4 nvidia-ml-py 12.560.30
oauthlib (ett OAuth-bibliotek) 3.2.0 oci 2.139.0 openai 1.55.1
opencensus 0.11.4 opencensus-kontext 0.1.3 opentelemetri-api 1.28.2
opentelemetry-sdk 1.28.2 opentelemetri-semantiska-konventioner 0.49b2 opt_einsum 3.4.0
Optree 0.12.1 optuna 3.6.1 Optuna-integration 3.6.0
orjson 3.10.12 Åsidosätter 7.4.0 emballage 24.1
Pandor 1.5.3 pandocfilter 1.5.0 paramiko 3.4.0
parso 0.8.3 pathspec 0.10.3 Patsy 0.5.6
pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.4 kudde 10.3.0
Pip (pakethanterare för Python) 24.2 platformdirs 3.10.0 plotly 5.22.0
plugin-baserad 1.0.0 pmdarima 2.0.4 Pooch 1.8.2
portalocker 2.10.1 fördefinierad 3.0.9 prometheus-client 0.14.1
prompt-verktygslåda 3.0.43 profet 1.1.5 proto-plus 1.24.0
protobuf 4.24.1 psutil 5.9.0 psycopg2 2.9.3
ptyprocess 0.7.0 pure-eval 0.2.2 py-cpuinfo 9.0.0
py-spy 0.3.14 pyarrow 15.0.2 pyarrow-hotfix 0,6
pyasn1 0.4.8 pyasn1-modules 0.2.8 pybind11 2.13.6
pyccolo 0.0.65 pycparser 2.21 pydantisk 2.8.2
pydantic_core 2.20.1 pyflakes 3.2.0 Pygments 2.15.1
PyGObject 3.48.2 PyJWT 2.7.0 PyNaCl 1.5.0
pyodbc 5.0.1 pyOpenSSL 24.0.0 pyparsing (ett Python-bibliotek för att analysera text) 3.0.9
pyright 1.1.294 pytesseract 0.3.10 python-dateutil 2.9.0.post0
python-editor (programredigerare för Python) 1.0.4 python-json-logger 2.0.7 python-lsp-jsonrpc 1.1.2
python-lsp-server 1.10.0 python-snappy 0.6.1 pytoolconfig 1.2.6
pytorch-ranger 0.1.1 pytz 2024.1 PyWavelets 1.5.0
PyYAML 6.0.1 pyzmq 25.1.2 frågeformulär 1.10.0
stråle 2.35.0 Referenser 0.30.2 regex 2023-10-03
Förfrågningar 2.32.2 requests-oauthlib 1.3.1 RFC 3339-valideringsverktyg 0.1.4
rfc3986-validator (validerare för RFC 3986) 0.1.1 rik 13.3.5 rep 1.12.0
rpds-py 0.10.6 RSA 4,9 ruamel.yaml 0.18.6
ruamel.yaml.clib 0.2.8 s3transfer 0.10.2 säkra tensorer 0.4.4
scikit-image 0.23.2 scikit-learn (en maskininlärningsbibliotek) 1.4.2 scipy 1.13.1
född vid havet 0.13.2 Send2Trash 1.8.2 meningstransformatorer 3.3.1
meningsstycke 0.2.0 setuptools 74.0.0 Shap 0.46.0
shellingham 1.5.4 simplejson 3.17.6 sex 1.16.0
Skivare 0.0.8 smart-open 5.2.1 smmap 5.0.0
sniffio 1.3.0 ljudfil 0.12.1 soupsieve 2,5
soxr 0.5.0.post1 drömsk 3.7.5 spacy-legacy 3.0.12
spacy-loggers 1.0.5 SQLAlchemy 2.0.30 sqlparse 0.4.2
seriöst 2.4.8 ssh-import-id 5.11 stapeldatastruktur 0.2.0
stanio 0.5.1 statsmodels (ett verktyg för statistisk modellering) 0.14.2 sympy 1.13.1
Tabellform 0.9.0 trasslad-i-unicode 0.2.0 ihärdighet 8.2.2
TensorBoard 2.18.0 tensorboard-data-server (datahanteringsserver för TensorBoard) 0.7.2 tensorboard-plugin-profile 2.18.0
tensorboardX 2.6.2.2 TensorFlow 2.18.0 tensorflow-estimator (en komponent i TensorFlow för modeller) 2.15.0
termcolor 2.4.0 avslutad 0.17.1 textuell 0.87.1
tf_keras 2.18.0 thinc 8.2.5 threadpoolctl 2.2.0
TIFF-fil 2023.4.12 tiktoken 0.7.0 tinycss2 1.2.1
tokenize-rt 4.2.1 tokeniserare 0.20.0 Tomli 2.0.1
ficklampa 2.5.0+cpu torch-optimizer-verktyget 0.3.0 torcheval 0.0.7
torchmetrics 1.4.0.post0 Fackelsyn 0.20.0+cpu tornad 6.4.1
tqdm 4.66.4 Traitlets 5.14.3 Transformatorer 4.46.3
typvakt 4.3.0 typer 0.12.5 typer-protobuf 3.20.3
types-psutil 5.9.0 types-pytz 2023.3.1.1 types-PyYAML 6.0.0
typer-förfrågningar 2.31.0.0 types-setuptools 68.0.0.0 types-six 1.16.0
types-urllib3 1.26.25.14 typing_extensions 4.11.0 uc-micro-py 1.0.1
ujson 5.10.0 obevakade uppgraderingar 0,1 URI-mall 1.3.0
urllib3 1.26.16 validatorer 0.34.0 virtualenv 20.26.2
Visioner 0.7.5 wadllib 1.3.6 Wasabi 1.1.3
wcwidth 0.2.5 vessla 0.4.1 webcolors 24.8.0
webbkodningar 0.5.1 websocket-klient 1.8.0 websockets 11.0.3
Werkzeug 3.0.3 whatthepatch 1.0.2 hjul 0.43.0
ordmoln 1.9.3 inlindad 1.14.1 xgboost 2.0.3
xgboost-ray 0.1.19 xxhash 3.4.1 yapf 0.33.0
Yarl 1.9.3 ydata-profilering 4.9.0 blixtlås 3.17.0
zstd 1.5.5.1

Python bibliotek i GPU-kluster

Anmärkning

PyTorch använder CUDA PyPI-beroenden för att tillhandahålla CUDA-stöd i stället för CUDA-biblioteksversionerna som är inbyggda i Databricks Runtime 16.1 ML.

Bibliotek Utgåva Bibliotek Utgåva Bibliotek Utgåva
absl-py 1.0.0 accelerera 1.1.1 aiohttp 3.9.5
aiohttp-cors 0.7.0 aiosignal 1.2.0 annoterade typer 0.7.0
anyio 4.2.0 argcomplete 3.5.0 argon2-cffi 21.3.0
argon2-cffi-bindningar 21.2.0 pil 1.2.3 Astor 0.8.1
asttokens 2.0.5 astunparse 1.6.3 asynkron-lru 2.0.4
egenskaper 23.1.0 ljudläsning 3.0.1 autokommandon 2.2.2
azure-core 1.31.0 azure-cosmos 4.3.1 azure-identity 1.18.0
azure-storage-blob (lagringstjänst i Azure) 12.23.1 Azure-lagring-fil-datainsjö 12.17.0 Babel 2.11.0
Tillbakadragande 2.2.1 backports.tarfile 1.2.0 bcrypt 3.2.0
beautifulsoup4 4.12.3 svart 24.4.2 blekmedel 4.1.0
körriktningsvisare 1.7.0 lycka 0.7.11 boto3 1.34.69
botocore 1.34.69 Brotli 1.0.9 cacheverktyg 5.3.3
katalog 2.0.10 kategorikodare 2.6.3 certifikat/certifiering 2024.6.2
cffi 1.16.0 chardet 4.0.0 charset-normalizer 2.0.4
kretsbrytare 2.0.0 klicka 8.1.7 cloudpathlib 0.19.0
cloudpickle 2.2.1 cmdstanpy 1.2.4 färgstark 0.5.6
colorlog 6.8.2 Kommunikation 0.2.1 kompositör 0.27.0
konfekt 0.1.5 configparser 5.2.0 konturritning 1.2.0
coolname 2.2.0 kryptografi 42.0.5 cyklist 0.11.0
cymem 2.0.10 Cython 3.0.11 dacite (en typ av vulkanisk bergart) 1.8.1
databricks-automl-runtime 0.2.21 Databricks-funktionsteknik 0.7.0 Databricks SDK 0.30.0
Datamängder 3.1.0 dbl-tempo 0.1.26 dbus-python 1.3.2
debugpy 1.6.7 dekoratör 5.1.1 DeepSpeed 0.16.0
defusedxml 0.7.1 Föråldrad 1.2.14 dill 0.3.8
distlib 0.3.8 dm-tree 0.1.8 Omvandling av docstring till markdown 0.11
einops 0.8.0 inträdespunkter 0,4 evaluera 0.4.3
Exekvering 0.8.3 facetters översikt 1.1.1 Farama-Aviseringar 0.0.4
fastjsonschema 2.21.1 fasttext-hjul 0.9.2 fillåsning 3.13.1
flash_attn 2.7.0 Flaska 2.2.5 flatbuffers 24.3.25
fontverktyg 4.51.0 Fqdn 1.5.1 frystelista 1.4.0
fsspec 2023.5.0 framtid 0.18.3 Gast 0.4.0
gitdb 4.0.11 GitPython 3.1.37 google-api-core 2.20.0
Google-autentisering 2.21.0 google-auth-oauthlib 1.0.0 google-cloud-core 2.4.1
google-cloud-storage (lagringstjänst från Google) 2.10.0 "google-crc32c" 1.6.0 Googlepasta 0.2.0
google-återupptagbar-media 2.7.2 googleapis-common-protos 1.65.0 gql 3.5.0
graphql-core 3.2.4 greenlet 3.0.1 grpcio 1.60.0
grpcio-status 1.60.0 gunicorn 20.1.0 gviz-api 1.10.0
gymnasieskola 0.28.1 h11 0.14.0 h5py 3.11.0
hjson 3.1.0 ferier 0.54 htmlmin 0.1.12
httpcore 1.0.5 httplib2 0.20.4 httpx 0.27.2
huggingface-hub 0.24.5 IDNA 3.7 ImageHash 4.3.1
imageio 2.33.1 obalanserad inlärning 0.12.3 importlib-metadata 6.0.0
importlib_resources 6.4.5 böja 7.3.1 ipyflow-core 0.0.201
ipykernel 6.28.0 ipython 8.25.0 ipython-genutils 0.2.0
ipywidgets 7.7.2 isodate 0.6.1 isoduration 20.11.0
det är farligt 2.2.0 jaraco.context 5.3.0 jaraco.functools 4.0.1
jaraco.text 3.12.1 jax-jumpy 1.0.0 Jedi 0.19.1
Jinja2 3.1.4 jiter 0.8.0 jmespath 1.0.1
joblib 1.4.2 Joblibspark 0.5.1 json5 0.9.6
jsonpatch 1,33 jsonpointer 3.0.0 jsonschema 4.19.2
jsonschema-specifikationer 2023.7.1 jupyter-händelser 0.10.0 jupyter-lsp 2.2.0
jupyter_client 8.6.0 jupyter_core 5.7.2 jupyter_server 2.14.1
jupyter_server_terminals 0.4.4 jupyterlab 4.0.11 jupyterlab-pygments 0.1.2
jupyterlab_server 2.25.1 Keras 3.6.0 kiwisolver (ett verktyg/programvara) 1.4.4
langchain 0.3.8 langchain-core 0.2.41 textdelare för langchain 0.2.4
språkkoder 3.4.1 langsmith 0.1.129 språkdata 1.2.0
launchpadlib 1.11.0 lazr.restfulclient 0.14.6 lazr.uri 1.0.6
trög laddare 0,4 libclang 15.0.6.1 librosa 0.10.2
lightgbm 4.5.0 blixtverktyg 0.11.9 linkify-it-py 2.0.0
llvmlite 0.42.0 lz4 4.3.2 Mako 1.2.0
marisa-trie 1.2.0 Markdown 3.4.1 markdown –it-py 2.2.0
MarkupSafe 2.1.3 matplotlib 3.8.4 matplotlib-inline 0.1.6
Mccabe 0.7.0 mdit-py-plugins 0.3.0 mdurl 0.1.0
memray 1.14.0 felstämd 2.0.4 ml-dtypes 0.4.1
mlflow-skinny 2.15.1 more-itertools 10.3.0 mosaicml-cli 0.6.41
mosaicml-streaming 0.8.0 mpmath 1.3.0 MSAL 1.31.1
msal-extensions 1.2.0 MessagePack 1.1.0 multidikt 6.0.4
flermetod 1.12 multiprocesshantering 0.70.16 murmurhash 1.0.11
mypy 1.10.0 mypy-extensions 1.0.0 namex 0.0.8
nbclient 0.8.0 nbconvert 7.10.0 nbformat 5.9.2
nest-asyncio 1.6.0 networkx bibliotek för nätverksanalys 3.2.1 ninja 1.11.1.1
nltk 3.8.1 nodeenv 1.9.1 anteckningsbok 7.0.8
anteckningsbok_shim 0.2.3 numba 0.59.1 numpy 1.26.4
nvidia-cublas-cu12 12.4.5.8 nvidia-cuda-cupti-cu12 12.4.127 nvidia-cuda-nvrtc-cu12 12.4.127
nvidia-cuda-runtime-cu12 12.4.127 nvidia-cudnn-cu12 9.1.0.70 nvidia-cufft-cu12 11.2.1.3
nvidia-curand-cu12 10.3.5.147 nvidia-cusolver-cu12 11.6.1.9 nvidia-cusparse-cu12 12.3.1.170
nvidia-ml-py 12.560.30 nvidia-nccl-cu12 2.21.5 nvidia-nvjitlink-cu12 12.4.127
nvidia-nvtx-cu12 12.4.127 oauthlib (ett OAuth-bibliotek) 3.2.0 oci 2.139.0
openai 1.55.1 opencensus 0.11.4 opencensus-kontext 0.1.3
opentelemetri-api 1.28.2 opentelemetry-sdk 1.28.2 opentelemetri-semantiska-konventioner 0.49b2
opt_einsum 3.4.0 Optree 0.12.1 optuna 3.6.1
Optuna-integration 3.6.0 orjson 3.10.12 Åsidosätter 7.4.0
emballage 24.1 Pandor 1.5.3 pandocfilter 1.5.0
paramiko 3.4.0 parso 0.8.3 pathspec 0.10.3
Patsy 0.5.6 pexpect (ett Python-bibliotek för styrning av fjärrterminaler) 4.8.0 phik 0.12.4
kudde 10.3.0 Pip (pakethanterare för Python) 24.2 platformdirs 3.10.0
plotly 5.22.0 plugin-baserad 1.0.0 pmdarima 2.0.4
Pooch 1.8.2 portalocker 2.10.1 fördefinierad 3.0.9
prometheus-client 0.14.1 prompt-verktygslåda 3.0.43 profet 1.1.5
proto-plus 1.24.0 protobuf 4.24.1 psutil 5.9.0
psycopg2 2.9.3 ptyprocess 0.7.0 pure-eval 0.2.2
py-cpuinfo 9.0.0 py-spy 0.3.14 pyarrow 15.0.2
pyarrow-hotfix 0,6 pyasn1 0.4.8 pyasn1-modules 0.2.8
pybind11 2.13.6 pyccolo 0.0.65 pycparser 2.21
pydantisk 2.8.2 pydantic_core 2.20.1 pyflakes 3.2.0
Pygments 2.15.1 PyGObject 3.48.2 PyJWT 2.7.0
PyNaCl 1.5.0 pyodbc 5.0.1 pyOpenSSL 24.0.0
pyparsing (ett Python-bibliotek för att analysera text) 3.0.9 pyright 1.1.294 pytesseract 0.3.10
python-dateutil 2.9.0.post0 python-editor (programredigerare för Python) 1.0.4 python-json-logger 2.0.7
python-lsp-jsonrpc 1.1.2 python-lsp-server 1.10.0 python-snappy 0.6.1
pytoolconfig 1.2.6 pytorch-ranger 0.1.1 pytz 2024.1
PyWavelets 1.5.0 PyYAML 6.0.1 pyzmq 25.1.2
frågeformulär 1.10.0 stråle 2.35.0 Referenser 0.30.2
regex 2023-10-03 Förfrågningar 2.32.2 requests-oauthlib 1.3.1
RFC 3339-valideringsverktyg 0.1.4 rfc3986-validator (validerare för RFC 3986) 0.1.1 rik 13.3.5
rep 1.12.0 rpds-py 0.10.6 RSA 4,9
ruamel.yaml 0.18.6 ruamel.yaml.clib 0.2.8 s3transfer 0.10.2
säkra tensorer 0.4.4 scikit-image 0.23.2 scikit-learn (en maskininlärningsbibliotek) 1.4.2
scipy 1.13.1 född vid havet 0.13.2 Send2Trash 1.8.2
meningstransformatorer 3.3.1 meningsstycke 0.2.0 setuptools 74.0.0
Shap 0.46.0 shellingham 1.5.4 simplejson 3.17.6
sex 1.16.0 Skivare 0.0.8 smart-open 5.2.1
smmap 5.0.0 sniffio 1.3.0 ljudfil 0.12.1
soupsieve 2,5 soxr 0.5.0.post1 drömsk 3.7.5
spacy-legacy 3.0.12 spacy-loggers 1.0.5 SQLAlchemy 2.0.30
sqlparse 0.4.2 seriöst 2.4.8 ssh-import-id 5.11
stapeldatastruktur 0.2.0 stanio 0.5.1 statsmodels (ett verktyg för statistisk modellering) 0.14.2
sympy 1.13.1 Tabellform 0.9.0 trasslad-i-unicode 0.2.0
ihärdighet 8.2.2 TensorBoard 2.17.0 tensorboard-data-server (datahanteringsserver för TensorBoard) 0.7.2
tensorboard-plugin-profile 2.18.0 tensorboardX 2.6.2.2 TensorFlow 2.18.0
tensorflow-estimator (en komponent i TensorFlow för modeller) 2.15.0 termcolor 2.4.0 avslutad 0.17.1
textuell 0.87.1 tf_keras 2.17.0 thinc 8.2.5
threadpoolctl 2.2.0 TIFF-fil 2023.4.12 tiktoken 0.7.0
tinycss2 1.2.1 tokenize-rt 4.2.1 tokeniserare 0.20.0
Tomli 2.0.1 ficklampa 2.5.0+cu124 torch-optimizer-verktyget 0.3.0
torcheval 0.0.7 torchmetrics 1.4.0.post0 Fackelsyn 0.20.0+cu124
tornad 6.4.1 tqdm 4.66.4 Traitlets 5.14.3
Transformatorer 4.46.3 Triton 3.1.0 typvakt 4.3.0
typer 0.14.0 typer-protobuf 3.20.3 types-psutil 5.9.0
types-pytz 2023.3.1.1 types-PyYAML 6.0.0 typer-förfrågningar 2.31.0.0
types-setuptools 68.0.0.0 types-six 1.16.0 types-urllib3 1.26.25.14
typing_extensions 4.11.0 uc-micro-py 1.0.1 ujson 5.10.0
obevakade uppgraderingar 0,1 URI-mall 1.3.0 urllib3 1.26.16
validatorer 0.34.0 virtualenv 20.26.2 Visioner 0.7.5
wadllib 1.3.6 Wasabi 1.1.3 wcwidth 0.2.5
vessla 0.4.1 webcolors 24.8.0 webbkodningar 0.5.1
websocket-klient 1.8.0 websockets 11.0.3 Werkzeug 3.0.3
whatthepatch 1.0.2 hjul 0.43.0 ordmoln 1.9.3
inlindad 1.14.1 xgboost 2.0.3 xgboost-ray 0.1.19
xxhash 3.4.1 yapf 0.33.0 Yarl 1.9.3
ydata-profilering 4.9.0 blixtlås 3.17.0 zstd 1.5.5.1

R-bibliotek

R-biblioteken är identiska med R-bibliotek i Databricks Runtime 16.1.

Java- och Scala-bibliotek (Scala 2.12-kluster)

Förutom Java- och Scala-bibliotek i Databricks Runtime 16.1 innehåller Databricks Runtime 16.1 ML följande JAR:er:

CPU-kluster

Grupp-ID Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-spark_2.12 1.7.3
ml.dmlc xgboost4j_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0

GPU-kluster

Grupp-ID Artefakt-ID Utgåva
com.typesafe.akka akka-actor_2.12 2.5.23
ml.dmlc xgboost4j-gpu_2.12 1.7.3
ml.dmlc xgboost4j-spark-gpu_2.12 1.7.3
org.graphframes graphframes_2.12 0.8.4-db1-spark3.5
org.mlflow mlflow-client 2.15.1
org.tensorflow spark-tensorflow-connector_2.12 1.15.0
  • Last updated on