Limitaciones de Databricks Connect para Python

Nota:

Este artículo describe Databricks Connect para Databricks Runtime 13.3 LTS y versiones posteriores.

En este artículo se enumeran las limitaciones de Databricks Connect para Python. Databricks Connect permite conectar entornos de desarrollo integrados populares, servidores de cuadernos y aplicaciones personalizadas a los clusters de Azure Databricks. Consulte Databricks Connect. Para obtener la versión de Scala de este artículo, consulte Limitaciones con Databricks Connect para Scala.

Importante

Según la versión de Python, Databricks Runtime y Databricks Connect que use, puede haber requisitos de versión para algunas características. Consulte Requisitos de uso de Databricks Connect.

Disponibilidad de funcionalidades

No disponible en Databricks Connect para Databricks Runtime 13.3 LTS y versiones anteriores.

  • Streaming foreachBatch
  • Creación de DataFrames de más de 128 MB
  • Consultas largas de más de 3600 segundos

No está disponible en Databricks Connect para Databricks Runtime 15.3 y versiones posteriores:

  • ApplyinPandas() y Cogroup() con cómputo con el modo de acceso estándar

No está disponible en Databricks Connect para Databricks Runtime 16.3 y a continuación:

  • En el proceso sin servidor, las UDF no pueden incluir bibliotecas personalizadas.

No disponible:

  • dataframe.display() Interfaz de Programación de Aplicaciones (API)
  • Utilidades de Databricks: credentials, library, notebook workflow, widgets
  • Contexto de Spark
  • RDDs
  • Bibliotecas que usan RDDs, Spark Context o acceden a la JVM de Spark subyacente, como Mosaic geospatial, GraphFrames o GreatExpectations.
  • CREATE TABLE <table-name> AS SELECT (en su lugar, use spark.sql("SELECT ...").write.saveAsTable("table"))
  • Cambiar el nivel de registro de log4j mediante SparkContext
  • No se admite el entrenamiento de ML distribuido.
  • Sincronización del entorno de desarrollo local con el clúster remoto
  • Last updated on