Criar e gerenciar uma instância de banco de dados

Para começar com cargas de trabalho OLTP, crie uma instância de base de dados Lakebase Provisioned usando a interface do Azure Databricks, SDK Python, chamada de API ou CLI.

Criar uma instância de banco de dados

Crie uma instância de banco de dados com padrões recomendados. Você precisa fornecer um nome de ocorrência (apenas de 1 a 63 caracteres, letras e hífenes). Como criador, você é o proprietário do banco de dados com a databricks_superuser função.

A maioria dos usuários do espaço de trabalho pode criar instâncias de banco de dados por padrão. Se você encontrar problemas de permissão, consulte Permissões de instância de banco de dados.

IU

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Clique em Criar instância de banco de dados.
4. Configure a sua instância:
   • Nome: Introduza o nome da instância da base de dados (1-63 caracteres, apenas letras e hífenes).
   • Capacidade: Selecione o tamanho de computação (padrão: 2). Veja Tamanho da instância.
   • Política de utilização sem servidor: Selecione uma política de utilização para atribuir a utilização e a faturação sem servidor (opcional). Ver políticas de utilização serverless.
5. (Opcional) Expandir as Definições Avançadas para configurar:
   • Criar a partir do pai: Crie um clone copy-on-write a partir de uma instância existente, incluindo dados até um determinado momento no tempo. Veja Criar a partir do pai.
   • Ativar HA: Ativar alta disponibilidade com nós de failover, configurar secundários que possam ser lidos e definir o número de nós de HA. Ver Alta disponibilidade.
6. Clique em Criar.

Python SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

# Initialize the Workspace client
w = WorkspaceClient()

# Create a database instance
instance = w.database.create_database_instance(
    DatabaseInstance(
        name="my-database-instance",
        capacity="CU_1"
    )
)

print(f"Created database instance: {instance.name}")
print(f"Connection endpoint: {instance.read_write_dns}")

CLI

# Create a database instance
databricks database create-database-instance my-database-instance \
  --capacity CU_1

# Create with advanced options (using JSON for more complex parameters)
databricks database create-database-instance \
  --json '{
    "name": "my-database-instance",
    "capacity": "CU_2",
    "retention_window_in_days": 14
  }'

encaracolar

Crie uma instância de banco de dados e especifique uma janela de retenção.

export PAT=<YOUR_PAT>
export INSTANCE_NAME="instance_name"

> curl -X POST --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://[your databricks workspace]/api/2.0/database/instances \
--data-binary @- << EOF
{
  "name": "$INSTANCE_NAME",
  "capacity": "CU_1",
  "retention_window_in_days": 14
}
EOF

Configurações avançadas

Você também pode configurar esses recursos durante a criação ou após a criação editando sua instância:

Parar ou iniciar uma instância

Para parar ou iniciar uma instância de banco de dados, você deve ter CAN MANAGE permissões sobre ela. Para parar ou iniciar uma instância, use a interface do utilizador do Azure Databricks, a API, o Python SDK ou a CLI.

IU

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Clique na instância de banco de dados que você deseja parar ou iniciar.
4. Clique em Parar ou Iniciar no canto superior direito da página.

Python SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

# Initialize the Workspace client
w = WorkspaceClient()

# Stop a database instance
instance_name = "my-database-instance"
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(
        name=instance_name,
        stopped=True
    ),
    update_mask="*"
)
print(f"Stopped database instance: {instance_name}")

# Start a database instance
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(
        name=instance_name,
        stopped=False
    ),
    update_mask="*"
)
print(f"Started database instance: {instance_name}")

CLI

# Stop a database instance
databricks database update-database-instance my-database-instance '*' \
  --json '{
    "stopped": true
  }'

# Start a database instance
databricks database update-database-instance my-database-instance '*' \
  --json '{
    "stopped": false
  }'

encaracolar

A chamada de API a seguir interrompe uma instância de banco de dados.

-X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "stopped": true
}
EOF

A chamada de API a seguir inicia uma instância de banco de dados.

curl -X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "stopped": false
}
EOF

Comportamento quando parado

Comportamento da instância do banco de dados:

• Os dados são preservados.
• A instância não pode ser usada para operações de leitura ou gravação.
• As tabelas sincronizadas não servem leituras.
• O Lakeflow Spark Declarative Pipelines (LDP) não deteta instâncias interrompidas e pode retornar erros.
• Os catálogos registados em instâncias paradas não mostram detalhes do esquema na interface.

Limitações funcionais:

• Não é possível criar ou excluir DatabaseTables ou DatabaseCatalogs.
• Você pode excluir ou redimensionar uma instância interrompida. As alterações de capacidade entram em vigor quando a instância é reiniciada.
• Você pode parar os oleodutos.

Comportamento ao iniciar

• A instância entra no STARTING estado e torna-se AVAILABLE quando estiver pronta.

Limitações

• O LDP não deteta instâncias interrompidas e pode retornar erros.
• Os catálogos registados em instâncias paradas não mostram detalhes do esquema na interface.

Excluir uma instância

Tenha cuidado ao excluir a instância do banco de dados, pois isso excluirá todos os dados associados.

Você deve ter CAN MANAGE permissões na instância do banco de dados. Se você não for o proprietário das tabelas ou catálogos, deverá reatribuir a propriedade a si mesmo. Os administradores de espaço de trabalho podem excluir instâncias de banco de dados que não possuem.

O Databricks recomenda excluir todos os catálogos Unity Catalog associados, tabelas sincronizadas e instâncias filhas antes de excluir a instância do banco de dados. Caso contrário, tentar exibir catálogos ou executar consultas SQL que fazem referência a eles resultará em erros.

IU

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Selecione a instância do banco de dados que deseja excluir.
4. Selecione Catálogos na barra lateral da aplicação Lakebae para ver a lista completa de catálogos de bases de dados associados à instância da base de dados.
5. Para cada catálogo de banco de dados, exclua todas as tabelas sincronizadas, incluindo aquelas que estão localizadas em catálogos gerenciados e não estão registradas como catálogos de banco de dados.
6. Clique no >Excluir catálogo.

Python SDK

from databricks.sdk import WorkspaceClient

# Initialize the Workspace client
w = WorkspaceClient()

# Delete a database instance
instance_name = "my-database-instance"
w.database.delete_database_instance(
    name=instance_name,
    purge=True  # Required to delete the instance
)
print(f"Deleted database instance: {instance_name}")

# Delete with force option (to delete child instances too)
w.database.delete_database_instance(
    name=instance_name,
    force=True,  # Delete child instances too
    purge=True
)

CLI

# Delete a database instance
databricks database delete-database-instance my-database-instance \
  --purge

# Delete with force option (to delete child instances too)
databricks database delete-database-instance my-database-instance \
  --json '{
    "force": true,
    "purge": true
  }'

encaracolar

purge=true deve ser especificado para excluir uma instância de banco de dados.

curl -X DELETE --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME?purge=true

Atualizar uma política de utilização serverless de uma instância de base de dados

As políticas de utilização serverless consistem em etiquetas que são aplicadas a qualquer atividade de computação serverless realizada por um utilizador atribuído à política. Ao etiquetar uma instância de base de dados com uma política de utilização serverless, pode atribuir os custos de faturação e utilização a políticas específicas, facilitando o acompanhamento, gestão e controlo dos gastos entre recursos serverless.

Use a interface para atualizar a política de utilização de uma instância de base de dados:

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Selecione a instância do banco de dados para a qual deseja atualizar a política de cobrança.
4. Clique em Editar no canto superior direito.
5. Selecione uma política de utilização sem servidor.
6. Clique em Salvar.

Gerir a capacidade da instância

Para redimensionar uma instância, você deve ter CAN MANAGE permissões. O redimensionamento pode demorar vários minutos e entra em vigor quando a instância é reiniciada.

Cada unidade de capacidade aloca cerca de 16 GB de RAM juntamente com os recursos associados de CPU e SSD local. Antes de dimensionar, teste e otimize as consultas. O armazenamento é dimensionado automaticamente.

IU

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Selecione a instância da base de dados que quer redimensionar.
4. Clique em Editar no canto superior direito.
5. Utilize o menu pendente Capacidade para selecionar o novo tamanho da instância.
6. Clique em Salvar.

encaracolar

curl -X PATCH --header "Authorization: Bearer ${DATABRICKS_TOKEN}" https://$WORKSPACE/api/2.0/database/instances/$INSTANCE_NAME \
--data-binary @- << EOF
{
  "capacity": "CU_4"
}
EOF

Python SDK

from databricks.sdk import WorkspaceClient
from databricks.sdk.service.database import DatabaseInstance

w = WorkspaceClient()
instance_name = "my-database-instance"
w.database.update_database_instance(
    name=instance_name,
    database_instance=DatabaseInstance(name=instance_name, capacity="CU_4"),
    update_mask="*"
)

CLI

databricks database update-database-instance my-database-instance '*' --capacity CU_4

Monitorizar uma instância de base de dados

Acede às métricas a partir do separador de Monitorização na página de detalhes da instância.

1. Clique Apps no canto superior direito e seleciona Lakebase Postgres.
2. Clique em Provisionado para abrir a página de Instâncias Provisionadas.
3. Seleciona a instância da base de dados que queres monitorizar.
4. Selecione Monitorização na barra lateral da aplicação Lakebase.

Use as métricas a seguir para analisar tendências de desempenho, identificar possíveis gargalos e avaliar se deve otimizar o uso do aplicativo ou dimensionar sua instância:

• Transações por segundo: Mostra a taxa de processamento de transações comprometidas. Use isso para entender os padrões de carga de trabalho e identificar períodos de pico de transação. Se esse valor for consistentemente alto, considere otimizar o comportamento do cliente ou aumentar o tamanho da instância.

• Linhas por segundo: Exibe o número de linhas buscadas, retornadas, inseridas, atualizadas e excluídas. Linhas buscadas refere-se ao número de linhas retornadas aos clientes. As linhas retornadas referem-se ao número de linhas lidas pelas consultas. Ajuda a diagnosticar o tipo de carga de trabalho e seu impacto no sistema. Se o desempenho for limitado, considere adicionar índices ou otimizar padrões de consulta.

• Ligações abertas: Exibe o número de conexões ativas abertas. As conexões consomem recursos de instância. Use isso para avaliar se o pool de conexões do lado do cliente é necessário. Consulte os limites para o número máximo de conexões permitidas.

• Utilização do armazenamento: Indica o uso atual do armazenamento para a instância. Se a utilização se aproximar dos limites provisionados pelo Lakebase, remova dados ou índices desnecessários. Como alternativa, entre em contato com o suporte para solicitar um aumento de cota.

• Utilização da CPU (%): Mede o uso da CPU para a instância do banco de dados. O alto uso da CPU pode indicar uma carga de trabalho pesada em termos de computação. Considere otimizações do lado do aplicativo ou aumentar o tamanho da instância.

• Taxa de transferência de leitura de página (%): Reflete o quão próxima a instância está de sua capacidade de leitura de página, normalmente causada por falhas de cache. Se o valor for elevado, reduza a carga de trabalho ou o conjunto de trabalho, adicione índices, faça consultas em cache do lado do cliente ou simplifique os dados.

• Taxa de acerto do cache do buffer (%): Indica o percentual de leituras efetuadas a partir da memória. Cargas de trabalho de alto desempenho devem ter valores acima de 99%. Taxas baixas sugerem que a carga de trabalho excede a capacidade do cache ou pode se beneficiar de otimizações.

• Taxa de acerto do cache SSD local (%): Monitoriza a porcentagem de leituras executadas do cache SSD após uma falha no buffer cache. Um valor pequeno pode aumentar a taxa de transferência de leitura da página. Use otimizações semelhantes às do cache de buffer ou considere uma instância maior.

• Impasses por segundo: Mede a frequência com que as transações encontram impasses. Isso normalmente ocorre quando várias transações acessam os mesmos recursos em ordem conflitante. Investigue e refatore cargas de trabalho para evitar bloqueios.

Próximos passos

• Serve os dados do Lakehouse com tabelas sincronizadas.
• Ligue e consulte a sua instância de base de dados.
• Registre a instância do banco de dados no Unity Catalog.
• Permitir que outros utilizadores acedam à instância da base de dados a partir do Azure Databricks. Veja Gerenciar permissões e funções de Postgres.

Limitações e requisitos

As seções a seguir descrevem limites e requisitos de configuração para instâncias de banco de dados gerenciado.

• Um espaço de trabalho permite um máximo de dez instâncias.
• Cada instância suporta até 1000 conexões simultâneas.
• O limite de tamanho lógico em todos os bancos de dados em uma instância é de 2 TB.
• As instâncias de banco de dados estão limitadas a um único espaço de trabalho.

Requisitos de nome de instância

• Deve ter de 1 a 63 caracteres.
• Deve começar com uma letra.
• Pode conter apenas caracteres alfanuméricos e hífenes.
• Não pode incluir dois hífenes consecutivos.