Requisitos para pipelines independentes

Esta página descreve os requisitos para criar e atualizar exibições materializadas autônomas e tabelas de streaming.

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming usando um SQL Warehouse. Para enviar instruções SQL CREATE e REFRESH, use o editor SQL na interface do Azure Databricks, a CLI do Databricks SQL ou a API do Databricks SQL.

Você também pode criar e atualizar exibições materializadas autônomas e tabelas de streaming de um notebook em execução na computação geral sem servidor (Beta, disponibilidade regional limitada). Consulte Notebooks.

Requisitos gerais

Os requisitos a seguir se aplicam a todos os pipelines autônomos.

Você deve ter:

• Uma conta do Azure Databricks sem servidor habilitada. Consulte Configurar os sql warehouses sem servidor.
• Um espaço de trabalho com o Catálogo do Unity habilitado. Consulte Introdução ao Catálogo do Unity.

Permissões para criar ou atualizar

O proprietário (o usuário que cria a tabela) deve ter as seguintes permissões:

• SELECT privilégio nas tabelas-base.
• privilégios USE CATALOG e USE SCHEMA sobre o catálogo e o esquema que contêm as tabelas de origem.
• privilégios USE CATALOG e USE SCHEMA no catálogo e esquema de destino.
• CREATE MATERIALIZED VIEW privilégio no esquema que contém a visão materializada.
• CREATE TABLE permissão no esquema que contém a tabela de streaming. Pipelines que usam o modo de publicação legado também exigem o privilégio CREATE TABLE para visões materializadas.

Para atualizar uma exibição materializada autônoma ou uma tabela de streaming:

• Você deve estar no espaço de trabalho em que isso foi criado.
• Você precisa ter o privilégio REFRESH na tabela. Os proprietários têm esse privilégio implicitamente.

Requisitos da tabela de origem

Para a atualização incremental de exibições materializadas de tabelas Delta, as tabelas de origem devem ter o controle de linha habilitado.

Armazenamentos SQL

Para criar ou atualizar visões materializadas independentes e tabelas de streaming usando um warehouse SQL, você deve ter um warehouse SQL Pro ou sem servidor com o Unity Catalog habilitado.

• Seu workspace deve estar em uma região que dê suporte a SQL warehouses sem servidor.

Notebooks

Você pode criar e atualizar exibições materializadas autônomas e tabelas de streaming de um notebook com computação geral sem servidor.

Computação geral sem servidor

Você pode criar e atualizar visões materializadas independentes e tabelas de streaming a partir de um notebook conectado à computação geral sem servidor. Essa opção é útil quando você deseja definir e executar exibições materializadas ou tabelas de streaming ao lado de outros fluxos de trabalho baseados em notebook sem provisionar um SQL Warehouse.

Requisitos gerais de computação sem servidor

• Um notebook anexado à computação geral sem servidor.
• Databricks Runtime 18.1 ou superior. Notebooks interativos atendem automaticamente a esse requisito; tarefas vinculadas a uma versão mais antiga não o fazem.
• Seu espaço de trabalho deve estar em uma região compatível.

Limitações

• Somente o proprietário da tabela pode atualizar a tabela. Para permitir que outro usuário atualize, altere o proprietário. Consulte Alterar o proprietário de uma tabela de streaming e Alterar o proprietário de uma visão materializada.
• Não há suporte para atualizações assíncronas. Em vez disso, use uma atualização síncrona.
• Não há suporte para o canal de visualização. As tabelas criadas na computação geral sem servidor usam o current canal.
• Uma tabela só pode ser atualizada usando o tipo de computação com o qual foi criada. Uma tabela criada em um SQL Warehouse deve ser atualizada em um SQL Warehouse e uma tabela criada na computação geral sem servidor deve ser atualizada na computação geral sem servidor. Para verificar o tipo de computação, exiba a tabela no Gerenciador de Catálogos.
• A atribuição de custos e o controle de custos não estão disponíveis. Use um SQL Warehouse se precisar de atribuição de custo por tabela.
• O dimensionamento automático vertical para erros de falta de memória não está disponível.
• Não há novas tentativas para atualizações de esquema.
• A seleção do modo de desempenho na atualização não está disponível. Consulte Selecionar um modo de desempenho para atualizações agendadas.

:::

Requisitos de consulta

Para consultar uma exibição materializada autônoma ou uma tabela de streaming, você deve ser o proprietário ou deve ter SELECT na mesa junto com USE CATALOG e USE SCHEMA em seus pais.

Você precisa usar um dos seguintes recursos de computação:

• SQL Warehouse
• Interfaces do Declarative Pipelines do Lakeflow Spark
• Computação no modo de acesso padrão (anteriormente modo de acesso compartilhado)
• Computação com modo de acesso dedicado (anteriormente, modo de acesso de usuário único) no Databricks Runtime 15.4 ou superior, se o espaço de trabalho estiver habilitado para computação sem servidor. Consulte o controle de acesso refinado na computação dedicada. Se você for o proprietário, poderá usar a computação de modo de acesso dedicado executando o Databricks Runtime 14.3 ou superior.

Para tabelas de streaming no Databricks Runtime 15.3 e abaixo, você pode usar a computação dedicada para consultar uma tabela de streaming somente se você a tiver. O Databricks Runtime 15.4 LTS e acima dão suporte à consulta de tabelas geradas por pipeline na computação dedicada, mesmo se você não for o proprietário. Você pode ser cobrado por recursos de computação sem servidor ao usar a computação dedicada para executar operações de filtragem de dados. Consulte o controle de acesso refinado na computação dedicada.

Disponibilidade regional

As tabelas criadas e atualizadas usando um Databricks SQL warehouse estão disponíveis em todas as regiões que oferecem suporte a Databricks SQL warehouses sem servidor.

A criação e atualização de exibições materializadas autônomas e tabelas de streaming na computação geral sem servidor estão disponíveis apenas em regiões selecionadas.

Para obter a lista de regiões com suporte para ambas as opções de computação, consulte a disponibilidade sem servidor.