CLI de pila (heredada)

La CLI de pila proporciona una manera de administrar una pila de recursos de Azure Databricks, como trabajos, cuadernos y archivos DBFS. Puede almacenar cuadernos y archivos de DBFS localmente y crear una plantilla JSON de configuración para definir las asignaciones desde sus archivos locales a las rutas en su espacio de trabajo de Azure Databricks, junto con la configuración de los trabajos que ejecutan estos cuadernos.

Para implementar y administrar la pila, utilice la CLI de pila con la plantilla JSON de configuración correspondiente.

Para ejecutar los subcomandos de la pila de Databricks CLI, añádelos a databricks stack.

databricks stack --help

Usage: databricks stack [OPTIONS] COMMAND [ARGS]...

  [Beta] Utility to deploy and download Databricks resource stacks.

Options:
  -v, --version   [VERSION]
  --debug         Debug Mode. Shows full stack trace on error.
  --profile TEXT  CLI connection profile to use. The default profile is
                  "DEFAULT".
  -h, --help      Show this message and exit.

Commands:
  deploy    Deploy a stack of resources given a JSON configuration of the stack
    Usage: databricks stack deploy [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks and DBFS
                        files  [default: False]
  download  Download workspace notebooks of a stack to the local filesystem
            given a JSON stack configuration template.
    Usage: databricks stack download [OPTIONS] CONFIG_PATH
    Options:
       -o, --overwrite  Include to overwrite existing workspace notebooks in the
                        local filesystem   [default: False]

Implementar una pila en un área de trabajo

Este subcomando despliega un stack. Consulte Configuración de una pila para aprender a configurar una pila.

databricks stack deploy ./config.json

En la sección Plantilla JSON de configuración de pila, se proporciona un ejemplo de config.json.

Descargar cambios del cuaderno del stack

Este subcomando descarga los cuadernos de una pila.

databricks stack download ./config.json

Ejemplos

Configuración de pila

Estructura de archivos de una pila de ejemplo

tree

.
├── notebooks
|   ├── common
|   |   └── notebook.scala
|   └── config
|       ├── environment.scala
|       └── setup.sql
├── lib
|   └── library.jar
└── config.json

Esta pila de ejemplo contiene un cuaderno principal en notebooks/common/notebook.scala junto con cuadernos de configuración en la carpeta notebooks/config. Existe una dependencia de la biblioteca JAR en la pila en lib/library.jar. config.json es la plantilla JSON de configuración de la pila. Esto es lo que se pasa al CLI de stack para la implementación del stack.

Plantilla JSON de configuración del stack

La plantilla de configuración de la pila describe cómo está configurada la pila.

cat config.json

{
  "name": "example-stack",
  "resources": [
    {
      "id": "example-workspace-notebook",
      "service": "workspace",
      "properties": {
        "source_path": "notebooks/common/notebook.scala",
        "path": "/Users/example@example.com/dev/notebook",
        "object_type": "NOTEBOOK"
      }
    },
    {
      "id": "example-workspace-config-dir",
      "service": "workspace",
      "properties": {
        "source_path": "notebooks/config",
        "path": "/Users/example@example.com/dev/config",
        "object_type": "DIRECTORY"
      }
    },
    {
      "id": "example-dbfs-library",
      "service": "dbfs",
      "properties": {
        "source_path": "lib/library.jar",
        "path": "dbfs:/tmp/lib/library.jar",
        "is_dir": false
      }
    },
    {
      "id": "example-job",
      "service": "jobs",
      "properties": {
        "name": "Example Stack CLI Job",
        "new_cluster": {
          "spark_version": "7.3.x-scala2.12",
          "node_type_id": "Standard_DS3_v2",
          "num_workers": 3
        },
        "timeout_seconds": 7200,
        "max_retries": 1,
        "notebook_task": {
          "notebook_path": "/Users/example@example.com/dev/notebook"
        },
        "libraries": [
          {
            "jar": "dbfs:/tmp/lib/library.jar"
          }
        ]
      }
    }
  ]
}

Cada trabajo, cuaderno de área de trabajo, directorio de área de trabajo, archivo DBFS o directorio DBFS se define como un elemento ResourceConfig. Cada ResourceConfig que representa un recurso de área de trabajo o DBFS contiene una asignación del archivo o directorio en el que existe localmente (source_path) a la ubicación en la que existiría en el área de trabajo o DBFS (path).

El esquema de plantilla de configuración de pila describe el esquema de la plantilla de configuración de pila.

Desplegar una pila

Implementas una pila usando el comando databricks stack deploy <configuration-file>.

databricks stack deploy ./config.json

Durante la implementación de la pila, los recursos de DBFS y del área de trabajo se cargan en el área de trabajo de Azure Databricks y se crean trabajos.

En el momento de implementación de la pila, se guarda un archivo JSON StackStatus para la implementación en el mismo directorio de la plantilla de configuración de pila con el nombre, agregando deployed inmediatamente antes de la extensión .json: (por ejemplo, ./config.deployed.json). La CLI de pila utiliza este archivo para llevar un seguimiento de los recursos implementados anteriormente en el área de trabajo.

El esquema de estado de la pila describe el esquema de la configuración de una pila.

./config.deployed.json

{
  "cli_version": "0.8.3",
  "deployed_output": [
    {
      "id": "example-workspace-notebook",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/notebook"
      },
      "service": "workspace"
    },
    {
      "id": "example-workspace-config-dir",
      "databricks_id": {
        "path": "/Users/example@example.com/dev/config"
      },
      "service": "workspace"
    },
    {
      "id": "example-dbfs-library",
      "databricks_id": {
        "path": "dbfs:/tmp/lib/library.jar"
      },
      "service": "dbfs"
    },
    {
      "id": "example-job",
      "databricks_id": {
        "job_id": 123456
      },
      "service": "jobs"
    }
  ],
  "name": "example-stack"
}

Estructuras de datos

En esta sección:

• Esquema de plantilla de configuración de stack
• Esquema de estado de pila
• DatabricksId

Esquema de plantilla de configuración de pila

StackConfig

Estos son los campos externos de una plantilla de configuración de stack. Todos los campos son obligatorios.

Configuración de Recursos

Los campos de cada ResourceConfig. Todos los campos son obligatorios.

PropiedadesDelRecurso

Propiedades de un recurso por ResourceService. Los campos se clasifican en aquellos que se usan o no se usan en una API REST de Azure Databricks. Todos los campos que se muestran son obligatorios.

ResourceService

Cada recurso pertenece a un servicio específico que se alinea con la API REST de Databricks. Estos son los servicios compatibles con el Stack CLI.

Esquema de estado del stack

StackStatus

Se crea un archivo de estado de pila una vez que se implementa una pila mediante la CLI. Los campos de nivel superior son:

ResourceStatus

DatabricksId

Objeto JSON cuyo campo depende del servicio.