Requisitos de uso do Databricks Connect

Este artigo fornece requisitos de uso para o Databricks Connect. Para obter informações sobre o Databricks Connect, consulte Databricks Connect.

Requisitos de espaço de trabalho

Para usar o Databricks Connect para se conectar ao workspace:

• Sua conta de Azure Databricks e o workspace devem ter o Catálogo do Unity habilitado. Veja Introdução ao Catálogo do Unity e Habilite um workspace para o Catálogo do Unity.

• A versão do Databricks Runtime de sua computação deve ser maior ou igual à versão do pacote do Databricks Connect. O Databricks recomenda que você use o pacote mais recente do Databricks Connect que corresponde à sua versão do Databricks Runtime.

  Para usar recursos disponíveis em versões posteriores do Databricks Runtime, você deve atualizar o pacote do Databricks Connect. Veja as notas de lançamento do Databricks Connect para uma lista de lançamentos disponíveis do Databricks Connect. Para obter as notas de lançamento do Databricks Runtime, consulte notas de lançamento do Databricks Runtime, versões e compatibilidade.

• Se você estiver se conectando à computação sem servidor, seu espaço de trabalho deverá satisfazer os requisitos para computação sem servidor.

  Observação

  Há suporte para computação sem servidor a partir do Databricks Connect versão 15.1. As versões do Databricks Connect que são inferiores ou iguais à versão do Databricks Runtime sem servidor são totalmente compatíveis. Consulte as Notas de versão. Para verificar se a versão do Databricks Connect é compatível com a computação sem servidor, confira a seção Validar a conexão com o Databricks.

• Se você estiver se conectando a um cluster, seu cluster de destino deverá usar um modo de acesso de cluster atribuído ou compartilhado. Consulte Modos de acesso.

Requisitos de ambiente local

Para instalar o Databricks Connect, seu ambiente de desenvolvimento local deve atender aos seguintes requisitos:

Python

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação do Databricks , pode haver requisitos:

  • Para autenticação OAuth usuário-para-máquina (U2M), você deve usar a CLI do Databricks para se autenticar antes de rodar seu código. Consulte o tutorial Databricks Connect for Python.

  • Autenticação OAuth U2M (usuário para máquina) e Autenticação OAuth M2M (máquina para máquina) têm suporte no SDK do Databricks para Python 0.19.0 e superior. Para atualizar a versão instalada do SDK do Databricks para Python no seu projeto, consulte Introdução ao SDK do Databricks para Python.

• Python 3 está instalado e a versão secundária do Python instalada atende aos requisitos de versão na tabela de compatibilidade version abaixo.

• Se você estiver usando UDFs (funções definidas pelo usuário), a versão secundária local do Python corresponderá à versão secundária do Python da versão do Databricks Runtime do cluster ou da computação sem servidor. Para localizar a versão de Python secundária da versão do Databricks Runtime do cluster, consulte a seção System environment das notas de versão do Databricks Runtime para essa versão. Consulte Versões e compatibilidade das notas de versão do Databricks Runtime e Notas de versão da computação sem servidor.

Scala

• A autenticação no Databricks está configurada. Dependendo do tipo de autenticação do Databricks , pode haver requisitos:

  • Para autenticação OAuth usuário-para-máquina (U2M), você deve usar a CLI do Databricks para se autenticar antes de rodar seu código. Consulte o tutorial do Databricks Connect para Scala.

  • Autenticação OAuth usuário-para-máquina (U2M) e autenticação OAuth máquina-para-máquina (M2M) têm suporte no SDK do Databricks para Java 0.18.0 ou superior. Para atualizar a versão instalada do seu projeto do SDK do Databricks para Java, consulte Introdução ao SDK do Databricks para Java.

  • Para o Databricks Connect para o Databricks Runtime 13.3 LTS e versões superiores, para Scala, o Databricks Connect inclui o Databricks SDK para Java. Esse SDK implementa o padrão de autenticação unificada do Databricks .

• O JDK (Kit de Desenvolvimento Java) está instalado. O Databricks recomenda que a versão da instalação do JDK corresponda à versão do JDK em seu cluster Azure Databricks. Para localizar a versão do JDK do Databricks Runtime em seu cluster, consulte a seção Ambiente do sistema das notas de versão do Databricks Runtime ou da tabela de compatibilidade de versão.

  Observação

  Usar uma versão do JDK que não corresponde à versão do JDK do cluster pode causar um comportamento inesperado ou impedir a execução do código.

• O Scala está instalado. O Databricks recomenda que a versão da instalação do Scala corresponda à versão do Scala em seu cluster Azure Databricks. Para localizar a versão do Scala da versão do Databricks Runtime do seu cluster, consulte a seção Ambiente do Sistema das Notas de versão do Databricks Runtime ou da Tabela de compatibilidade de versão.

• Se você estiver usando UDFs (funções definidas pelo usuário), as versões scala e Java locais corresponderão às versões Scala e Java da versão do Databricks Runtime do cluster. Para localizar as versões Scala e Java da versão do Databricks Runtime do cluster, consulte a seção System environment das notas de versão do Databricks Runtime ou da tabela de compatibilidade version abaixo.

• Uma ferramenta de build do Scala, como o sbt, está instalada.

Versões do Databricks Connect

A tabela a seguir mostra o Databricks Connect com suporte e versões de idioma compatíveis. Os números de versão do Databricks Connect correspondem aos números de versão do Databricks Runtime. Veja as notas de lançamento do Databricks Connect para uma lista de lançamentos disponíveis do Databricks Connect. Para obter as notas de lançamento do Databricks Runtime, consulte notas de lançamento do Databricks Runtime, versões e compatibilidade.

Python

Para obter suporte à UDF, consulte Python ambiente base.

Scala

Versões de fim de suporte

O Databricks Connect segue os ciclos de vida de suporte do Databricks Runtime. As versões a seguir atingiram o fim do suporte. Se você estiver usando uma versão do Databricks Connect que tenha atingido o fim do suporte, atualize para uma versão com suporte.

Python

Scala