Agosto de 2022

Estas funcionalidades e as melhorias da plataforma Azure Databricks foram lançadas em agosto de 2022.

Os usuários da conta podem acessar o console da conta

1 a 31 de agosto de 2022

Os utilizadores da conta podem aceder à consola Azure Databricks conta para ver uma lista dos seus espaços de trabalho. Os usuários da conta só podem exibir espaços de trabalho aos quais lhes foi concedido acesso. Veja Gerir a sua conta Azure Databricks.

Os utilizadores de espaços de trabalho são sincronizados automaticamente com a sua conta como utilizadores da conta. Todos os usuários do espaço de trabalho e entidades de serviço existentes são sincronizados automaticamente com sua conta como usuários no nível da conta e entidades de serviço. Veja Sincronizar identidades do seu fornecedor de identidade.

Databricks driver ODBC 2.6.26

29 de agosto de 2022

Lançamos a versão 2.6.26 do driver ODBC Databricks (download). Esta versão atualiza o suporte a consultas. Agora você pode cancelar consultas de forma assíncrona em conexões HTTP mediante solicitação de API.

Esta versão também resolve o seguinte problema:

• Ao usar consultas personalizadas no Spotfire, o conector deixa de responder.

Driver JDBC Databricks 2.6.29

29 de agosto de 2022

Lançamos a versão 2.6.29 do driver JDBC Databricks (download). Esta versão resolve os seguintes problemas:

• Ao usar um proxy HTTP com o Cloud Fetch habilitado, o conector não retorna resultados de conjuntos de dados grandes.
• Problemas menores de texto no Texto da Licença do Databricks. Faltavam links de documentação.
• Os nomes dos arquivos JAR estavam incorretos. Em vez de SparkJDBC41.jar deveria ter sido DatabricksJDBC41.jar. Em vez de SparkJDBC42.jar, deveria ter sido DatabricksJDBC42.jar.

Cliente Databricks Feature Store agora disponível no PyPI

26 de agosto de 2022

O cliente Feature Store agora está disponível no PyPI. O cliente requer Databricks Runtime 9.1 LTS ou superior, e pode ser instalado usando:

%pip install databricks-feature-store

O cliente já está incluído no Databricks Runtime para Machine Learning 9.1 LTS e versões superiores.

O cliente não pode ser executado fora do Databricks; no entanto, você pode instalá-lo localmente para ajudar no teste de unidade e para suporte IDE adicional (por exemplo, preenchimento automático). Para mais informações, consulte Databricks Feature Store Python cliente

O Unity Catalog está em Disponibilidade Geral

25 de agosto de 2022

O Catálogo Unity está disponível em geral. Para obter informações detalhadas sobre recursos e limitações, consulte a nota de lançamento do Unity Catalog GA.

Delta Sharing é GA

25 de agosto de 2022

O Delta Sharing agora está disponível para o público em geral, começando com o Databricks Runtime 11.1. Para obter detalhes, consulte O que é o Delta Sharing?.

• O Compartilhamento Delta de Databricks para Databricks é totalmente gerenciado sem a necessidade de troca de tokens.
• Crie e gerencie provedores, destinatários e compartilhamentos com uma interface do usuário simples de usar.
• Crie e gerencie provedores, destinatários e compartilhamentos com APIs SQL e REST com suporte total a CLI e Terraform.
• Verifique alterações em dados ou partilhe versões incrementais com Fluxos de Alterações de Dados.
• Restrinja o acesso do destinatário ao download de arquivos de credenciais ou à consulta de dados usando listas de acesso IP e restrições de região.
• Usar o Delta Sharing para partilhar dados dentro da mesma conta Azure Databricks está ativado por defeito.
• Impor a separação de funções delegando o gerenciamento do Delta Sharing a não-administradores.

Databricks Runtime 11.2 (Beta)

23 de agosto de 2022

Databricks Runtime 11.2, 11.2 Photon e 11.2 ML estão agora disponíveis como versões Beta.

Consulte as notas completas de lançamento em Databricks Runtime 11.2 (EoS) e Databricks Runtime 11.2 para Machine Learning (EoS).

Volume de mensagens reduzido na interface do usuário da tecnologia DLT para processos contínuos

22 a 29 de agosto de 2022: Versão 3.79

Com esta versão, as transições de estado para tabelas dinâmicas em um pipeline contínuo de DLT são exibidas na interface do usuário somente até que as tabelas entrem no estado de execução. Quaisquer transições relacionadas ao recálculo bem-sucedido das tabelas não são exibidas na interface do usuário, mas estão disponíveis no log de eventos DLT no nível METRICS. Todas as transições para estados de falha ainda são exibidas na interface do usuário. Anteriormente, todas as transições de estado eram exibidas na interface do usuário para tabelas dinâmicas. Essa alteração reduz o volume de eventos de pipeline exibidos na interface do usuário e facilita a localização de mensagens importantes para seus pipelines. Para saber mais sobre como consultar o log de eventos, consulte Log de eventos de pipeline.

Configuração mais fácil de cluster para os seus pipelines DLT

22 a 29 de agosto de 2022: Versão 3.79

Agora você pode selecionar um modo de cluster, dimensionamento automático ou tamanho fixo, diretamente na interface do usuário DLT ao criar um pipeline. Anteriormente, a configuração de um cluster de dimensionamento automático exigia alterações nas configurações JSON do pipeline. Para obter mais informações sobre como criar um pipeline e a nova configuração do modo de cluster , consulte Executar uma atualização de pipeline.

Orquestre tarefas dbt em seus fluxos de trabalho do Databricks (Visualização pública)

22 a 29 de agosto de 2022: Versão 3.79

Pode executar o seu projeto core dbt como uma tarefa num trabalho do Azure Databricks com a nova tarefa dbt, permitindo-lhe incluir as suas transformações dbt num fluxo de trabalho de processamento de dados. Por exemplo, seu fluxo de trabalho pode ingerir dados com o Auto Loader, transformar os dados com dbt e analisar os dados com uma tarefa de notebook. Para obter mais informações sobre a tarefa dbt, incluindo um exemplo, consulte Usar transformações dbt em trabalhos do Lakeflow. Para obter mais informações sobre como criar, executar e agendar um fluxo de trabalho que inclui uma tarefa dbt, consulte Lakeflow Jobs.

A federação de identidades é GA

25 de agosto de 2022

A federação de identidade simplifica a administração do Azure Databricks ao permitir que atribua utilizadores ao nível da conta, principais de serviço e grupos a espaços de trabalho federados por identidade. Agora você pode configurar e gerenciar todos os seus usuários, entidades de serviço e grupos uma vez no console da conta, em vez de repetir a configuração separadamente em cada espaço de trabalho. Para saber mais sobre federação de identidades, veja Atribuir identidades aos espaços de trabalho. Para começar, veja Federação de Identidade.

O Partner Connect suporta a ligação ao Stardog

24 de agosto de 2022

Agora pode criar facilmente uma ligação entre a Stardog e o seu espaço de trabalho Azure Databricks usando o Partner Connect. A Stardog fornece uma plataforma de gráfico de conhecimento para responder a consultas complexas em silos de dados.

Integração do Databricks Feature Store com o Serverless Real-Time Inference

22 a 29 de agosto de 2022: Versão 3.79

O Databricks Feature Store agora suporta a pesquisa automática de características para Inferência em Tempo Real Sem Servidor. Para obter detalhes, consulte Serviço de Modelo com pesquisa automática de características.

Suporte adicional de tipos de dados para consulta automática de características no Databricks Feature Store

22 a 29 de agosto de 2022: Versão 3.79

Databricks Feature Store agora suporta BooleanType para pesquisa automática de recursos. Consulte Serviço de modelos com consulta automática de características.

Traga sua própria chave: criptografe as credenciais do Git

23 a 29 de agosto de 2022

Pode usar uma chave de encriptação para credenciais Git para Databricks Repos.

Veja Criptografar credenciais Git.

O modo de visualização e acesso da interface do usuário do cluster substitui o modo de segurança

19 de agosto de 2022

A nova interface do utilizador Criar Cluster está em pré-visualização. Consulte a Referência de Configuração de Computação.

Limitações do Catálogo Unity (Visualização pública)

16 de agosto de 2022

• Scala, R e cargas de trabalho usando o Machine Learning Runtime são suportadas apenas em clusters que utilizam o modo de acesso de utilizador único. As cargas de trabalho nesses idiomas não oferecem suporte ao uso de modos de exibição dinâmicos para segurança em nível de linha ou coluna.
• Clones superficiais não são suportados quando o Unity Catalog é utilizado como a origem ou o destino do clone.
• Não há suporte para segmentação em tabelas do Unity Catalog. Os comandos que tentam criar uma tabela com buckets no Unity Catalog lançarão uma exceção.
• O modo de substituição para operações de gravação de DataFrame no Unity Catalog é suportado apenas para tabelas Delta, não para outros formatos de ficheiro. O usuário deve ter o privilégio CREATE no esquema pai e deve ser o proprietário do objeto existente.
• Atualmente, o streaming tem as seguintes limitações:
  • Não há suporte para clusters que usam o modo de acesso compartilhado. Para cargas de trabalho de streaming, você deve usar o modo de acesso de usuário único.
  • O ponto de verificação assíncrono ainda não é suportado.
  • Consultas de streaming com duração superior a 30 dias em clusters de propósito geral ou de trabalho lançarão uma exceção. Para consultas de streaming de longa duração, configure as tentativas automáticas de tarefas.
• Atualmente, não há suporte para a referência a tabelas do Unity Catalog a partir de pipelines DLT.
• Os grupos criados anteriormente em um espaço de trabalho não podem ser usados em instruções GRANT do Catálogo Unity. Isso é para garantir uma visão consistente de grupos que podem abranger vários espaços de trabalho. Para usar grupos em instruções GRANT, crie os seus grupos na consola da conta e atualize qualquer automação para gestão de principais ou grupos (como SCIM, conectores Okta e Microsoft Entra ID, e Terraform) para referenciar endpoints de conta em vez de endpoints de workspace.

O Catálogo Unity está disponível nas seguintes regiões:

• canadacentral
• centralus
• francecentral
• germanywestcentral
• japaneast
• norwayeast
• southafricanorth
• swedencentral
• switzerlandnorth
• switzerlandwest
• uaenorth
• westcentralus
• westus3
• australiaeast
• brazilsouth
• centralindia
• eastus
• eastus2
• koreacentral
• northcentralus
• northeurope
• southeastasia
• ukwest
• westeurope
• westus

Para usar o Catálogo Unity em outra região, entre em contato com a equipe da sua conta.

Inferência em tempo real sem servidor em pré-visualização pública

16 de agosto de 2022

A Inferência em Tempo Real sem Servidor processa seus modelos de aprendizado de máquina usando MLflow e os expõe como pontos de extremidade da API REST. Esta funcionalidade utiliza computação Serverless, o que significa que os endpoints e os recursos de computação associados são geridos e executados na conta cloud Azure Databricks. Os custos de utilização e armazenamento incorridos são atualmente gratuitos, mas o Azure Databricks avisará quando a cobrança começar.

Os administradores de espaço de trabalho devem habilitar a Inferência em Tempo Real sem Servidor em seu espaço de trabalho para que você use esse recurso.

Para participar na pré-visualização pública do Serverless Real-Time Inference, contacte a sua equipa de conta Azure Databricks.

A pesquisa melhorada no espaço de trabalho está agora disponível publicamente

9 de agosto de 2022

Agora você pode pesquisar blocos de anotações, bibliotecas, pastas, arquivos e repositórios pelo nome. Também pode procurar conteúdo num bloco de notas e ver uma pré-visualização do conteúdo correspondente. Os resultados da pesquisa podem ser filtrados por tipo. Consulte Pesquisar objetos de espaço de trabalho.

Usar colunas geradas ao criar conjuntos de dados DLT

8 a 15 de agosto de 2022: Versão 3.78

Agora é possível usar as colunas geradas ao definir tabelas nos pipelines DLT. As colunas geradas são suportadas pelas interfaces DLT Python e SQL.

Melhorias na edição de cadernos com o editor baseado no Monaco (Experimental)

8 a 15 de agosto de 2022

Está disponível um novo editor de código baseado em Mónaco para notebooks Python. Para ativá-lo, marque a opção Ativar o novo editor de bloco de anotações na guia Configurações do Editor na página Configurações do usuário.

O novo editor inclui dicas de tipo de parâmetro, inspeção de objetos ao passar o ponteiro do rato, dobragem de código, suporte a vários cursores, seleção de coluna (caixa) e comparações lado a lado no histórico de versões do notebook.

Termina o suporte da série Databricks Runtime 10.3

2 de agosto de 2022

O suporte para Databricks Runtime 10.3 e Databricks Runtime 10.3 para Machine Learning terminou a 2 de agosto. Consulte Ciclos de vida de suporte do Databricks.

Ativar conectividade privada com Azure Private Link (Public Preview)

2 de agosto de 2022

Azure Databricks agora suporta a ativação de ligações Azure Private Link para conectividade privada entre utilizadores e os seus espaços de trabalho do Azure Databricks, bem como entre clusters no plano de computação e os serviços principais no plano de controlo dentro da infraestrutura do espaço de trabalho Databricks. Azure Private Link liga-se diretamente aos serviços sem expor o tráfego à rede pública. Esta funcionalidade está disponível como Pré-visualização Pública. Ver os conceitos Azure Private Link.

Habilitar armazéns SQL sem servidor para seu espaço de trabalho (Visualização pública)

2 de agosto de 2022

Os armazéns SQL serverless estão agora disponíveis para contas e espaços de trabalho no Azure Databricks como Pré-visualização pública. Este recurso requer o nível de preço Premium. Antes de criar armazéns SQL sem servidor, um administrador deve habilitá-lo para o espaço de trabalho.

A DLT agora suporta a atualização apenas de tabelas selecionadas em atualizações de pipeline

2 a 24 de agosto de 2022

Agora você pode iniciar uma atualização apenas para tabelas selecionadas em um pipeline de DLT. Esse recurso acelera o teste de pipelines e a resolução de erros, permitindo que você inicie uma atualização de pipeline que atualiza apenas tabelas selecionadas. Para saber como iniciar uma atualização apenas de tabelas selecionadas, consulte Executar uma atualização de pipeline.

Agora, a execução do trabalho aguarda que a instalação das bibliotecas de cluster seja concluída.

1 de agosto de 2022

Quando um cluster está sendo iniciado, seus trabalhos do Databricks agora aguardam que as bibliotecas de cluster concluam a instalação antes de serem executados. Anteriormente, as execuções de tarefas aguardavam a instalação de bibliotecas em clusters de uso geral somente se estivessem especificadas como bibliotecas dependentes para a tarefa. Para obter mais informações sobre como configurar bibliotecas dependentes para tarefas, consulte Configurar e editar tarefas em trabalhos do Lakeflow.