Compartilhar via

Limitações com o Databricks Connect para Python

Observação

Esse artigo aborda o Databricks Connect para Databricks Runtime 13.3 LTS e superior.

Este artigo lista as limitações com o Databricks Connect para Python. O Databricks Connect permite que você conecte IDEs populares, servidores de notebook e aplicativos personalizados para Azure Databricks clusters. Consulte Databricks Connect. Para obter a versão do Scala deste artigo, consulte Limitações com o Databricks Connect para Scala.

Importante

Dependendo da versão do Python, do Databricks Runtime e do Databricks Connect que você está usando, pode haver requisitos de versão para alguns recursos. Consulte os requisitos de uso do Databricks Connect.

Disponibilidade de funcionalidades

Não disponível no Databricks Connect para o Databricks Runtime 13.3 LTS e versões anteriores:

  • Streaming foreachBatch
  • Como criar DataFrames maiores que 128 MB
  • Consultas longas acima de 3600 segundos

Não disponível no Databricks Connect para Databricks Runtime 15.3 e abaixo:

  • ApplyinPandas() e Cogroup() com recursos de computação com modo de acesso padrão

Não disponível no Databricks Connect para Databricks Runtime 16.3 e abaixo:

  • Na computação sem servidor, as UDFs não podem incluir bibliotecas personalizadas.

Não disponível:

  • dataframe.display() Interface de Programação de Aplicações (API)
  • Utilitários do Databricks: credentials, library, notebook workflow e widgets
  • Contexto do Spark
  • RDDs
  • Bibliotecas que usam RDDs, Spark Context ou acessam a JVM subjacente do Spark, como Mosaic geospatial, GraphFrames ou GreatExpectations.
  • CREATE TABLE <table-name> AS SELECT (em vez disso, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Alterar o nível de registro do log4j através de SparkContext
  • Não há suporte para treinamento de ML distribuído.
  • Sincronizar o ambiente de desenvolvimento local com o cluster remoto
  • Last updated on