Julho de 2023

Estas funcionalidades e as melhorias da plataforma Azure Databricks foram lançadas em julho de 2023.

Os administradores de espaços de trabalho agora podem criar grupos de contas

31 de julho de 2023

Os administradores de espaços de trabalho agora podem criar grupos de contas a partir de seus espaços de trabalho federados de identidade. Anteriormente, os administradores de espaço de trabalho podiam criar apenas grupos locais de espaço de trabalho. Os grupos de contas podem ter acesso aos dados em um metastore do Unity Catalog e acesso a espaços de trabalho federados por identidade. O Databricks recomenda que você use grupos de contas em vez de grupos locais de espaço de trabalho para aproveitar o Unity Catalog e um local central para administrar a identidade.

Consulte Gerir grupos.

A função de gestor de grupo está em versão pública de pré-visualização.

31 de julho de 2023

Agora você pode conceder permissões a usuários, entidades de serviço e grupos do Databricks para gerenciar grupos. Os gerentes de grupo podem gerenciar a associação ao grupo. Eles também podem atribuir a outros usuários a função de gerente de grupo. Os administradores de conta têm a função de gestor de grupo em todos os grupos da conta. Os administradores de espaço de trabalho têm a função de gerente de grupo nos grupos de contas que criam.

Consulte Quem pode gerir grupos?.

CLI do Databricks atualizada para a versão 0.202.0 (Visualização pública)

27 de julho de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.202.0. Para obter detalhes, consulte o changelog para a versão 0.202.0.

Databricks SDK para Python atualizado para a versão 0.3.0 (Beta)

27 de julho de 2023

Databricks SDK para Python versão 0.3.0 introduz suporte para o serviço de Política de Rede de Contas; gere parâmetros de consulta aninhados; adiciona, remove e cria vários métodos, campos, dataclasses e serviços; entre outros. Para obter detalhes, consulte o changelog para a versão 0.3.0.

Databricks SDK for Go atualizado para a versão 0.14.1 (Beta)

27 de julho de 2023

O Databricks SDK for Go na versão 0.14.1 lida com parâmetros de consulta aninhados de forma apropriada, corrigindo a filtragem nas listagens do QueryHistory. Para obter detalhes, consulte o changelog para a versão 0.14.1.

Databricks SDK for Go atualizado para a versão 0.14.0 (Beta)

26 de julho de 2023

O Databricks SDK for Go versão 0.14.0 adiciona suporte para o serviço de Diretiva de Rede de Conta e adiciona, remove e altera vários métodos, campos e tipos. Para obter detalhes, consulte o changelog para a versão 0.14.0.

Executar outro job como tarefa num job do Azure Databricks

25 de julho de 2023

Pode usar a nova tarefa Run Job para adicionar outro trabalho como tarefa no seu trabalho Azure Databricks, permitindo-lhe decompor um grande fluxo de trabalho de processamento em múltiplos trabalhos de componentes, ou criar componentes reutilizáveis para usar em vários trabalhos. Para obter informações sobre como usar a tarefa na UI de Trabalhos, consulte Trabalhos do Lakeflow. Para obter informações sobre como usar a tarefa com a API REST de Trabalhos, consulte Trabalhos na referência da API REST 2.1 ou a referência da API de Trabalhos 2.0.

A atualização de rede do espaço de trabalho recebe suporte à UI (GA)

24 de julho de 2023

Anteriormente, podia-se usar um modelo ARM com linha de comandos ou o portal Azure para ativar conectividade segura do cluster ou enable Azure Private Link.

Agora também pode usar a interface do portal do Azure (sem modelo) para atualizações de rede diretamente na sua instância de workspace do Azure Databricks. Ambos os tipos de atualizações de rede estão agora geralmente disponíveis.

Todos os usuários podem acessar produtos de dados no Databricks Marketplace por padrão

24 de julho de 2023

A partir de 24 de julho e implementando gradualmente em todos os espaços de trabalho elegíveis, todos os usuários poderão instalar conjuntos de dados gratuitos ou comprados anteriormente usando o Databricks Marketplace. Isso é possível concedendo o privilégio de USE MARKETPLACE ASSETS a todos os usuários em todos os metastores do Unity Catalog. Este novo privilégio não tem impacto nos custos, uma vez que todas as transações do Marketplace ocorrem fora do Databricks. Se quiser desativar o acesso, consulte Desativar o acesso ao Marketplace.

Modo de atalhos de teclado clássico

21 de julho de 2023

Uma nova configuração permite que você use recursos do novo editor (como preenchimento automático enquanto digita, realce de sintaxe, formatação de código e muito mais), mantendo os mesmos atalhos de teclado familiares do editor anterior. Para acessar essa configuração, abra a configuração do editor e alterne omodo de atalhos do editor do Bloco de Anotações para Clássico (Espelho de Código).

A Lakehouse Federation permite executar consultas em provedores de banco de dados externos (Visualização pública)

21 de julho de 2023

Lakehouse Federation é a plataforma de federação de consultas para Azure Databricks, aproveitando o Unity Catalog para permitir que utilizadores e sistemas executem consultas em múltiplas fontes de dados externas sem necessidade de migrar todos os dados para um sistema unificado.

Lakehouse Federation destina-se a casos de uso como:

• Relatórios ad hoc.
• Trabalho de prova de conceito.
• A fase exploratória de novos pipelines ou relatórios de ETL.
• Suporte a cargas de trabalho durante a migração incremental.

Em cada um desses cenários, a federação de consultas leva você a insights mais rapidamente, porque você pode consultar os dados no local e evitar o processamento de ETL complexo e demorado. Além disso, você obtém as vantagens das interfaces do Catálogo Unity e da governança de dados, incluindo controle de acesso refinado, linhagem de dados e pesquisa.

Veja O que é Lakehouse Federation?.

Mover para lixo ativado para Repos

19 de julho de 2023

A exclusão de repositórios agora funciona da mesma forma que excluir outros ativos do espaço de trabalho. Na lista Repos, clique com o botão direito no nome do repositório e selecione Mover para Lixo. Após 30 dias, a pasta Lixo é automaticamente excluída permanentemente.

Consulte Excluir um objeto.

Crie alertas para trabalhos lentos ou bloqueados

18 de julho de 2023

Agora pode configurar uma duração esperada para um trabalho ou tarefa do Azure Databricks e adicionar notificações se um trabalho ou tarefa exceder a duração esperada. Esse recurso permite que você receba alertas para trabalhos de execução lenta sem que a execução seja cancelada. Para configurar uma duração esperada na interface Azure Databricks Jobs, consulte Configure limiares para a duração da execução do trabalho ou métricas de backlog de streaming. Para configurar a duração esperada com a API Jobs 2.1, consulte Jobs na referência da API REST.

Databricks SDK for Go atualizado para a versão 0.13.0 (Beta)

18 de julho de 2023

Databricks SDK para Go versão 0.13.0 adiciona suporte para autenticação de identidades geridas Azure para operações ao nível da conta, adiciona, altera e remove vários métodos e campos, entre outros. Para obter detalhes, consulte o changelog para a versão 0.13.0.

Databricks SDK para Python atualizado para a versão 0.2.0 (Beta)

18 de julho de 2023

O SDK Databricks para Python versão 0.2.0 adiciona uma implementação local de dbutils.widgets, adiciona, altera e remove vários métodos, campos, dataclasses, entre outros. Para obter detalhes, consulte o changelog para a versão 0.2.0.

CLI do Databricks atualizada para a versão 0.201.0 (Visualização pública)

18 de julho de 2023

A interface de linha de comandos Databricks (Databricks CLI) versão 0.201.0 melhora a experiência auth login, suporta complemento de tabulação para referência dos perfis de configuração de autenticação do Azure Databricks, faz adições, alterações e remoções de vários grupos de comandos e comandos, e mais. Para obter detalhes, consulte o changelog para a versão 0.201.0.

Databricks SDK para Python atualizado para a versão 0.2.1 (Beta)

18 de julho de 2023

Databricks SDK para Python versão 0.2.1 suporta versões mais antigas do urllib. Para obter detalhes, consulte o changelog para a versão 0.2.1.

O Databricks Assistant está em Prévia Pública

18 de julho de 2023

O Databricks Assistant funciona como um assistente de programação em pares baseado em IA para aumentar sua eficiência na criação de cadernos, consultas e arquivos. Pode ajudar a responder rapidamente a perguntas gerando, otimizando, concluindo, explicando e corrigindo código e consultas. Consulte as Perguntas frequentes do Databricks Assistant para obter mais informações e instruções sobre como ativar o Assistente.

Desativar utilizadores e entidades de serviço da sua conta

13 de julho de 2023

Agora pode desativar utilizadores e principais de serviço a partir da sua conta Azure Databricks. Um utilizador desativado não pode iniciar sessão na conta Azure Databricks ou nos espaços federados de identidade. No entanto, todas as permissões e objetos de espaço de trabalho do usuário permanecem inalterados. Para obter mais informações, consulte Desativar um usuário e Desativar uma entidade de serviço.

O provisionamento SCIM no nível da conta agora desativa os usuários quando eles são desativados no provedor de identidade

13 de julho de 2023

O provisionamento SCIM no nível da conta agora desativa os usuários quando eles são desativados em seu provedor de identidade. Anteriormente, quando um utilizador era desativado num fornecedor de identidade, o provisionamento SCIM ao nível da conta eliminava-o da conta Azure Databricks. Para mais informações, consulte Sincronizar utilizadores e grupos de Microsoft Entra ID usando SCIM e Desactivar um utilizador.

Acesso de administrador do diretório de lixeira

13 de julho de 2023

Os administradores do espaço de trabalho agora podem acessar os diretórios da Lixeira de outros usuários.

A prevenção de detecções de tipos MIME e a renderização de páginas para ataques XSS agora estão sempre ativadas.

12 de julho de 2023

O Azure Databricks reduz o risco de sniffing do tipo MIME e de renderização de páginas de ataque XSS ao adicionar cabeçalhos HTTP apropriados. Esses recursos foram habilitados por padrão e anteriormente podiam ser desativados. Para melhorar a segurança, o Azure Databricks agora ativa sempre ambas as funcionalidades e já não existem definições de administrador de espaço de trabalho para as desativar. Para espaços de trabalho que anteriormente desabilitavam um ou ambos os recursos, ambos os recursos agora estão habilitados.

Os volumes do Catálogo Unity estão em visualização pública

12 de julho de 2023

Agora você pode usar volumes no Unity Catalog para gerenciar o acesso a locais de armazenamento de objetos na nuvem no Databricks Runtime 13.2 e superior. Os volumes fornecem recursos para acessar, armazenar, governar e organizar arquivos. Consulte O que são volumes do Catálogo Unity?.

Experiência simplificada para enviar comentários sobre produtos a partir do espaço de trabalho

11 de julho de 2023

Agora é mais fácil enviar comentários sobre produtos a partir do seu espaço de trabalho. Você pode enviar comentários e anexar capturas de tela com menos etapas e sem sair da interface do usuário do espaço de trabalho. Para obter mais informações, consulte Enviar comentários sobre produtos.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.0

10 de julho de 2023

A extensão Databricks para Visual Studio Code versão 1.1.0 permite a integração com Databricks Connect por padrão, adiciona funcionalidades experimentais para notebooks Jupyter, e mais. Para obter detalhes, consulte o changelog para a versão 1.1.0.

Funções agora exibidas no Catalog Explorer (Visualização pública)

10 de julho de 2023

Funções definidas pelo utilizador em SQL e Python são agora visíveis no Explorador de Catálogos. Você pode exibir detalhes da função e gerenciar permissões usando essa nova interface do usuário.

O provedor Databricks Terraform foi atualizado para a versão 1.21.0

7 de julho de 2023

Databricks Terraform provider versão 1.21.0 adiciona suporte para subscrições em dashboards e tarefas de alerta SQL em databricks_job, define utilitários genéricos de dados Azure Databricks para definir fontes de dados ao nível do espaço de trabalho e da conta, entre outros. Para obter detalhes, consulte o changelog para a versão 1.21.0.

O deslocamento máximo para as solicitações de API de List all jobs e List job runs agora é limitado

6 de julho de 2023

O deslocamento máximo que se pode especificar nas solicitações de List all jobs e List job runs na API de empregos agora é limitado. Para evitar esse limite ao usar essas solicitações, use a paginação baseada em token, que não tem esse limite. Consulte GET /api/2.1/jobs/list e GET /api/2.1/jobs/runs/list na referência da API REST.

Databricks Runtime 13.2 é GA

6 de julho de 2023

O Databricks Runtime 13.2 e o Databricks Runtime 13.2 ML estão agora disponíveis para o público em geral.

Ver Databricks Runtime 13.2 (EoS) e Databricks Runtime 13.2 para Machine Learning (EoS).

Delta Sharing e Databricks Marketplace suportam compartilhamento de exibição (Visualização pública)

6 de julho de 2023

Agora você pode compartilhar visualizações no Delta Sharing e no Databricks Marketplace. Veja Adicionar vistas a uma partilha.

Os scripts Init no DBFS chegam ao fim da vida útil em 1º de setembro de 2023

5 de julho de 2023

Em 1º de setembro de 2023, o suporte para scripts init no DBFS chegará ao fim da vida útil e o recurso não funcionará mais. Armazene scripts de inicialização em arquivos de espaço de trabalho para garantir que eles continuem a funcionar após 1º de setembro de 2023.