Maio de 2023

Estas funcionalidades e as melhorias da plataforma Azure Databricks foram lançadas em maio de 2023.

A criação ou modificação da interface do utilizador da tabela suporta uploads de ficheiros nos formatos Avro, Parquet e texto.

29 de maio de 2023

A interface do usuário Criar ou modificar tabela agora suporta os seguintes tipos de arquivo:

• Avro (.avro)
• Parquet (.parquet)
• Texto (.txt)

Para obter mais informações, consulte Criar ou modificar uma tabela usando o upload de arquivo.

Use a interface do usuário de adição de dados para carregar dados usando locais externos do Catálogo Unity (Visualização pública)

29 de maio de 2023

Agora pode usar a interface do utilizador para adicionar dados, para carregar dados a partir de um caminho de armazenamento de objetos na nuvem definido como uma localização externa do Unity Catalog. Para obter mais informações, consulte Carregamento de dados usando um local externo do Catálogo Unity.

Executar blocos de anotações Databricks em armazéns SQL (Visualização Pública)

31 de maio de 2023

Agora você pode executar blocos de anotações Databricks em armazéns SQL. Os armazéns SQL são otimizados para análise SQL e oferecem melhor desempenho de preço para execução SQL em comparação com a computação multiuso. Para obter mais informações, consulte Usar um notebook com uma SQL warehouse.

Impedir que a tecla Enter aceite a sugestão de preenchimento automático

26 de maio de 2023

Agora você pode impedir que a tecla Enter aceite sugestões de preenchimento automático no editor SQL. Selecione Desativar entrada para aceitar o preenchimento automático no menu kebab no editor SQL.

Nova região: China East 3

25 de maio de 2023

O Azure Databricks está agora disponível na região Azure China East 3. Consulte as regiões do Azure Databricks.

Suporte para tipos de VM de computação confidencial Azure (Pré-visualização Pública)

25 de maio de 2023

O Azure Databricks agora suporta o uso de tipos de VM de computação confidencial do Azure ao criar clusters. A computação confidencial do Azure ajuda a proteger os dados em uso, impedindo que o fornecedor de cloud tenha acesso a dados sensíveis. Ver VMs de computação confidencial do Azure.

Provedor Databricks Terraform atualizado para a versão 1.17.0

22 de maio de 2023

O provedor Databricks Terraform 1.17.0 remove o suporte para a liberação de binários de 32 bits, adiciona mais informações sobre o impacto do uso de uma política de cluster no recurso databricks_cluster e muito mais. Para obter mais detalhes, consulte o changelog da versão 1.17.0.

A interface do usuário de carregamento de dados suporta novos tipos de dados de coluna

19 de maio de 2023

A interface de carregamento de dados agora oferece suporte aos seguintes tipos de dados de coluna:

• STRUCT
• ARRAY
• DECIMAL(P,S)

Para obter mais informações, consulte Criar ou modificar uma tabela usando o upload de arquivo.

Vincular catálogos do Catálogo Unity a espaços de trabalho específicos

17 de maio de 2023

Agora pode limitar o acesso ao catálogo a espaços de trabalho específicos na sua conta, um recurso também conhecido como vinculação entre o catálogo e o espaço de trabalho. Esse recurso é especialmente útil se você usar espaços de trabalho para isolar o acesso aos dados do usuário, por exemplo, se tiver espaços de trabalho de produção e desenvolvimento separados ou um espaço de trabalho dedicado para lidar com dados confidenciais.

Para obter mais informações, consulte Limitar o acesso do catálogo a espaços de trabalho específicos.

Todos os usuários podem se conectar ao Fivetran usando o Partner Connect (Visualização pública)

17 de maio de 2023

A função de usuário administrador do espaço de trabalho não é mais necessária para se conectar ao Fivetran usando o Partner Connect. Para obter mais informações, consulte Conectar-se ao Fivetran usando o Partner Connect.

Provedor Databricks Terraform atualizado para a versão 1.16.1

16 de maio de 2023

O provedor Databricks Terraform 1.16.1 adiciona documentação para o databricks_service_principal_secret recurso e a integração do Unity Catalog no databricks_pipeline recurso, atualiza a documentação para o databricks_secret_scope recurso e muito mais. Para obter mais detalhes, consulte o changelog para a versão 1.16.1.

Driver JDBC Databricks 2.6.33

15 de maio de 2023

Lançamos a versão 2.6.33 do driver JDBC Databricks (download). Esta versão adiciona APIs de chave primária e chave estrangeira ao se conectar a um servidor que tenha o Unity Catalog habilitado.

O Partner Connect suporta Alation

15 a 22 de maio de 2023

Agora pode ligar manualmente o seu espaço de trabalho Azure Databricks à Alation.

Novo tema padrão para editor

12 de maio de 2023

Com base nos comentários dos clientes, o esquema de cores padrão no editor foi atualizado para melhor legibilidade.

provedor Databricks Terraform atualizado para a versão 1.16.0

12 de maio de 2023

Databricks Terraform provider 1.16.0 adiciona um databricks_workspace_file recurso, adiciona um notification_settings bloco ao databricks_job recurso e muito mais. Para obter mais detalhes, consulte o changelog para a versão 1.16.0.

O suporte do Unity Catalog para identidades geridas no Azure está agora em Disponibilidade Geral.

11 de maio de 2023

A capacidade de usar identidades geridas pelo Azure para aceder a contentores de armazenamento em nome dos utilizadores do Catálogo Unity está agora geralmente disponível. As identidades geridas do Azure oferecem vantagens significativas sobre as entidades de serviço para este caso de uso. Veja Utilize identidades geridas do Azure no Unity Catalog para aceder ao armazenamento.

Databricks Runtime 13.1 (Beta)

10 de maio de 2023

O Databricks Runtime 13.1 e o Databricks Runtime 13.1 ML já estão disponíveis como versões Beta.

Ver Databricks Runtime 13.1 (EoS) e Databricks Runtime 13.1 para Machine Learning (EoS).

Executar consultas SQL baseadas em ficheiros num fluxo de trabalho do Azure Databricks

9 de maio de 2023

Agora pode recuperar consultas SQL de um fornecedor Git quando adiciona uma tarefa SQL a um trabalho do Azure Databricks. Veja Usar o Git com Lakeflow Jobs.

Databricks provedor do Terraform atualizado para a versão 1.15.0

5 de maio de 2023

A versão 1.15.0 adiciona um recurso experimental databricks_sql_table, adiciona suporte para executar scripts de inicialização databricks_cluster a partir de ficheiros de espaço de trabalho, adiciona permissões ausentes ao databricks_grants, e muito mais. Para obter mais detalhes, consulte o changelog da versão 1.15.0.

As regiões Azure China agora suportam o Unity Catalog

5 de maio de 2023

As regiões China East 2, China North 2 e China North 3 agora suportam o Unity Catalog.

Apelidos de conta agora disponíveis no console da conta

5 de maio de 2023

Os administradores de contas podem agora definir alcunhas para as suas contas Azure Databricks. Depois de atribuir uma alcunha à sua conta, o nome é apresentado na parte superior da consola da conta e junto ao ID da conta. Para obter mais informações, consulte Adicionar um apelido de conta.

Compartilhar blocos de anotações usando o Delta Sharing

4 de maio de 2023

Agora pode usar o Delta Sharing para partilhar ficheiros de notebook com segurança usando o fluxo de partilha Databricks-para-Databricks.

O compartilhamento de blocos de anotações permite que os usuários colaborem entre metastores e contas e permite que os provedores demonstrem casos de uso e visualizações para os dados que compartilham.

Veja Adicionar arquivos de blocos de notas a um compartilhamento (para fornecedores) e Ler blocos de notas compartilhados (para destinatários).

O Azure Databricks já não cria um armazém de dados SQL serverless para iniciantes.

3 a 12 de maio de 2023

O Azure Databricks já não cria um armazém de dados SQL inicial sem servidor. Para criar o seu próprio, consulte Criar um armazém de dados SQL.

Na API do SQL Warehouses, habilitar a computação sem servidor agora deve ser explícito

3 a 12 de maio de 2023

Houve uma pequena alteração na API SQL Warehouses ao criar um SQL warehouse.

Para o campo enable_serverless_compute, anteriormente o padrão era true caso estivessem habilitados os pontos de extremidade sem servidor SQL para o espaço de trabalho. O padrão agora é false para a maioria dos espaços de trabalho. No entanto, se esse espaço de trabalho usou a API do SQL Warehouses para criar um armazém entre 1º de novembro de 2022 e 19 de maio de 2023 e se encaixa nos requisitos do armazém SQL sem servidor, incluindo sua região, o padrão continua a ser definido como true.

Para evitar ambiguidade, especialmente para organizações com muitos espaços de trabalho, o Databricks recomenda que você sempre defina explicitamente o enable_serverless_compute campo.

Alterações nas configurações do espaço de trabalho para armazéns SQL sem servidor

3 a 12 de maio de 2023

Para contas que têm a computação sem servidor habilitada, os espaços de trabalho agora estão habilitados para recursos sem servidor por padrão. Como parte dessa alteração, a configuração no nível do espaço de trabalho para habilitar ou desabilitar armazéns SQL sem servidor foi removida da interface do usuário de configurações do espaço de trabalho.

Alterações nas configurações de computação sem servidor para contas e espaços de trabalho

3 a 12 de maio de 2023

Todos os espaços de trabalho agora estão habilitados para SQL warehouses sem servidor se a região oferecer suporte a isso.

O Azure Databricks notifica todos os administradores de espaços de trabalho uma vez na interface SQL do Databricks para cada espaço de trabalho.

Para que os novos espaços de trabalho habilitados suportem armazéns SQL serverless, cada espaço deve cumprir os requisitos e pode exigir uma atualização do firewall Azure Storage de cada espaço de trabalho.

Databricks SQL Serverless está disponível em geral

3 a 12 de maio de 2023

Databricks SQL Serverless agora está disponível em geral em regiões com suporte. Os armazéns SQL sem servidor fornecem computação instantânea, gerenciamento mínimo e otimização de custos para consultas SQL. Crie armazéns SQL sem servidor ou converta armazéns SQL pro ou clássicos em sem servidor.

Atualize um espaço de trabalho existente com conectividade segura ao cluster ou Azure Private Link (Pré-visualização pública)

3 de maio de 2023

Você pode habilitar a conectividade de cluster seguro (SCC) em um espaço de trabalho existente para fazer com que sua rede virtual não tenha portas abertas e os nós de cluster do Databricks Runtime não tenham endereços IP públicos. Esta funcionalidade está configurada em Azure templates usando o nome No Public IP (enableNoPublicIp).

Pode ativar ou desativar Azure Private Link num espaço de trabalho existente para conectividade privada entre utilizadores e os seus espaços de trabalho Databricks, bem como entre recursos computacionais e o plano de controlo da infraestrutura Azure Databricks.

Ambas as atualizações exigem que o espaço de trabalho use VNet injection e o nível de preço Premium.

Descontinuação de scripts de inicialização com escopo de cluster no DBFS

2 de maio de 2023

Os scripts de inicialização com escopo de cluster no DBFS foram preteridos. Em vez disso, eles devem ser armazenados como arquivos de espaço de trabalho. Consulte Armazenar scripts de inicialização em ficheiros de espaço de trabalho.

Navegação unificada (Pré-visualização Pública)

1 de maio de 2023

A nova experiência de navegação unificada está em Pré-visualização Pública. A navegação unificada reduz os cliques e as opções de contexto necessárias para concluir tarefas em todas as áreas do produto. Para obter mais informações, consulte Interface do usuário do espaço de trabalho.