Março de 2022

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em março de 2022.

Melhor desempenho e custo para seus pipelines DLT com dimensionamento automático aprimorado do Databricks

31 de março de 2022

O dimensionamento automático aprimorado do Databricks melhora a funcionalidade existente de dimensionamento automático de cluster ao adicionar otimizações para cargas de trabalho de streaming e suporte aprimorado para cargas de trabalho em lote. As melhorias aprimoradas de dimensionamento automático fornecem utilização de cluster mais eficiente, uso reduzido de recursos e menor custo. Consulte Otimize a utilização do cluster de Pipelines Declarativos do Lakeflow Spark com Dimensionamento Automático.

Arquivos em Repos habilitados por padrão em novos espaços de trabalho

30 de março de 2022

O recurso Files no Repos agora está habilitado por padrão em workspaces recém-criados.

O Repositório de Recursos do Databricks está em disponibilidade geral

22 de março de 2022

O Repositório de Recursos do Databricks está em disponibilidade geral. O Repositório de Recursos do Databricks permite o compartilhamento e a descoberta de recursos na organização e também garante que um código de computação de recursos consistente seja usado para treinamento e inferência de modelo.

Compartilhar um experimento da página de experimentos

21 a 28 de março de 2022: versão 3.68

O botão Permissões na página de experimento do MLflow foi renomeado como Compartilhamento. A caixa de diálogo agora inclui um link compartilhável para o experimento. Consulte Alterar permissões para um experimento.

Correção de bug do RStudio Workbench

21 a 28 de março de 2022: versão 3.68

O RStudio Workbench mais recente depende de cookies quando você usa um arquivo de licença. Esses cookies não foram colocados na lista de permissões para proxy. Esse problema foi corrigido.

Novas opções de idioma do espaço de trabalho

21 de março de 2022

Os espaços de trabalho agora estão disponíveis nos idiomas a seguir:

• Español
• Português (Brasil)

O Databricks Runtime 10.4 LTS e o 10.4 LTS ML estão em disponibilidade geral; o 10.4 Photon está em Visualização Pública

18 de março de 2022

O Databricks Runtime 10.4 LTS e o Databricks Runtime 10.4 LTS ML estão disponíveis ao público em geral. O Databricks Runtime 10.4 Photon está em Versão Prévia Pública.

Consulte Databricks Runtime 10.4 LTS (EoS) e Databricks Runtime 10.4 LTS for Machine Learning (EoS).

O Catálogo do Unity está disponível em Visualização Pública

10 de março de 2022

O Unity Catalog (Preview) é uma solução de governança granulada para dados e IA no Databricks Lakehouse.

O Catálogo do Unity ajuda a simplificar a segurança e a governança dos seus dados com os seguintes recursos principais:

• Defina uma vez, proteja em todos os lugares: o Catálogo do Unity oferece um único local para administrar políticas de acesso a dados que se aplicam a todos os workspaces e personas.
• Modelo de segurança compatível com padrões: o modelo de segurança do Catálogo do Unity é baseado no SQL ANSI padrão e permite que os administradores concedam permissões no nível de catálogos, bancos de dados (também chamados de esquemas), tabelas e exibições em seu data lake existente usando sintaxe familiar.
• Auditoria integrada: o Catálogo do Unity captura automaticamente os logs de auditoria em nível de usuário que registram o acesso aos seus dados.

É possível acessar os dados no Catálogo do Unity da mesma maneira que você acessa os dados locais de um workspace: por meio de um cluster de Engenharia e Ciência de Dados ou do Databricks Mosaic AI, de um warehouse SQL, do editor do Databricks SQL, da API REST do Catálogo do Unity ou da CLI (interface de linha de comando) do Catálogo do Unity.

Para obter mais informações, consulte O que é um Catálogo do Unity?. Para participar da versão prévia pública do Catálogo do Unity, entre em contato com sua equipe de conta do Azure Databricks.

O Delta Sharing está disponível em Visualização Pública

10 de março de 2022

O Delta Sharing (versão prévia) é um protocolo aberto desenvolvido pelo Databricks para proteger o compartilhamento de dados com outras organizações, independentemente das plataformas de computação usadas. Um usuário do Databricks, chamado de “provedor de dados”, pode usar o Delta Sharing para compartilhar dados em um metastore do Catálogo do Unity com uma pessoa ou um grupo fora da organização, chamado de “destinatário de dados”. Os destinatários de dados podem começar a trabalhar imediatamente com a última versão dos dados compartilhados. Para obter uma lista completa de conectores e informações sobre como usá-los, confira a documentação do projeto Delta Sharing. Quando o Delta Sharing está habilitado em um metastore do Catálogo do Unity, o Catálogo do Unity executa um servidor do Delta Sharing.

Para obter mais informações, confira O que é o Delta Sharing?. Para participar da versão prévia pública do Delta Sharing, entre em contato com sua equipe de conta do Azure Databricks.

Girar a chave gerenciada pelo cliente para serviços gerenciados

10 de março de 2022

É possível adicionar uma chave gerenciada pelo cliente (CMK) para serviços gerenciados. Azure Databricks usa sua chave para proteger e controlar o acesso à chave que criptografa dados no plano de controle para a origem do notebook, segredos e histórico de consultas SQL do Databricks. Esse recurso está em uma versão prévia.

Agora você pode girar (atualizar) a chave.

Controle de acesso aprimorado para pipelines DLT

9 de março de 2022

Agora você tem mais controle sobre o acesso aos pipelines DLT, incluindo o proprietário de um pipeline, quem pode visualizar ou gerenciar o pipeline e quem pode executá-lo. Consulte ACLs de Pipelines Declarativos do Lakeflow Spark.

Testar a funcionalidade de visualização de DLT com a nova configuração channel (Prévia Pública)

7 a 14 de março de 2022: versão 3.67

Você pode testar novos recursos em seus pipelines DLT com a nova configuração channel. Para testar seu pipeline com futuras funcionalidades, defina channel como preview. Para voltar para a versão atual, defina channel como current.

Melhor tratamento de erros para funções de Python DLT (Visualização Pública)

7 a 14 de março de 2022: versão 3.67

Esta versão adiciona verificação de tipo para validar que as funções de Python DLT usam o tipo de dados string ao definir nomes e valores para propriedades table. Anteriormente, definir propriedades da tabela usando valores que não são de cadeia de caracteres poderia fazer com que o pipeline falhasse sem uma mensagem de erro indicando a causa subjacente.

Melhorias no Databricks Repos

De 7 a 14 de março de 2022: versão 3.67

As melhorias a seguir foram feitas para Databricks Repos.

• Pesquisa de texto e substituição em arquivos nos repositórios. O editor de arquivos agora tem os menus Arquivo e Editar que fornecem as opções pesquisar, substituir e substituir todas as funcionalidades.
• Anteriormente, o Databricks recomendava que o número total de notebooks e arquivos em um repositório não excedesse 2.000. Esse limite foi aumentado para 5.000.

Registro de diagnóstico para alterações na política de cluster

De 7 a 14 de março de 2022: versão 3.67

Quando o log de auditoria estiver habilitado, agora um evento de auditoria é registrado quando você cria, atualiza ou exclui uma política de cluster, ou quando você atualiza permissões de usuário para uma política de cluster. Para obter mais informações, consulte Referência do log de diagnóstico.

Databricks Runtime 10.4 (Beta)

4 de março de 2022

O Databricks Runtime 10.4, 10.4 Photon e 10.4 ML agora estão disponíveis como versões Beta.

Confira as notas de versão completas em Databricks Runtime 10.4 LTS (EoS) e Databricks Runtime 10.4 LTS for Machine Learning (EoS).