Defina e use variáveis de ambiente com scripts de inicialização

Os scripts de inicialização têm acesso a todas as variáveis de ambiente presentes em um cluster.

Variáveis de ambiente padrão

Azure Databricks define muitas variáveis padrão que podem ser úteis na lógica de script de inicialização. Os scripts de inicialização com escopo de cluster e global dão suporte às seguintes variáveis de ambiente:

• DB_CLUSTER_ID: a ID do cluster no qual o script está em execução. Consulte a API de clusters.
• DB_CONTAINER_IP: o endereço IP privado do contêiner no qual o Spark é executado. O script de inicialização é executado nesse contêiner. Consulte a API de clusters.
• DB_IS_DRIVER: indica se o script está em execução em um nó de driver.
• DB_DRIVER_IP: o endereço IP do nó do driver.
• DB_INSTANCE_TYPE: o tipo de instância da VM do host.
• DB_CLUSTER_NAME: o nome do cluster em que o script está sendo executado.
• DB_IS_JOB_CLUSTER: indica se o cluster foi criado para executar um trabalho. Veja Configurar computação para trabalhos.

Não é possível substituir essas variáveis de ambiente predefinidas.

Definir variáveis de ambiente personalizadas

Variáveis de ambiente personalizadas que você pode acessar, de scripts de inicialização, em execução no recurso de computação, podem ser definidas na configuração do Spark. Consulte 'Variáveis de Ambiente'.

Você também pode definir variáveis de ambiente usando o campo spark_env_vars no Criar de API de cluster ou Atualizar a API do cluster.

Usar variáveis de ambiente

O exemplo a seguir usa uma variável de ambiente padrão para executar parte de um script somente em um nó de driver:

echo $DB_IS_DRIVER
if [[ $DB_IS_DRIVER = "TRUE" ]]; then
  <run this part only on driver>
else
  <run this part only on workers>
fi
<run this part on both driver and workers>

Segredos em scripts de inicialização

Você pode usar qualquer nome de variável válido ao referenciar um segredo. O acesso a segredos referenciados em variáveis de ambiente é determinado pelas permissões do usuário que configurou o cluster. Os segredos armazenados nas variáveis de ambiente são acessíveis a todos os usuários do cluster, mas estão ocultados na exibição em texto simples.

Confira Usar um segredo em uma propriedade de configuração ou variável de ambiente do Spark.