fevereiro de 2025

Estas funcionalidades e as melhorias na plataforma Azure Databricks foram lançadas em fevereiro de 2025.

Databricks driver ODBC 2.9.1

28 de fevereiro de 2025

O Databricks ODBC Driver versão 2.9.1 já está disponível para download na página de download do driver ODBC .

Esta versão inclui os seguintes aprimoramentos e novos recursos:

• Adicionado suporte de renovação de token para o fluxo de passagem de token OAuth.
• Foi adicionada uma opção de tempo limite no lado do driver para instruções ociosas. Um tempo limite pode ser configurado para impedir que um aplicativo interrompa a busca de resultados e trave no meio de uma execução de consulta.

Esta versão resolve os seguintes problemas:

• Se o catálogo inicial não estiver definido, o driver agora assume como padrão usar o catálogo hive_metastore.
• O condutor atualiza o HTTP User-Agent de thrift/0.9.0 para thrift/0.17.0.

Esta versão inclui atualizações para várias bibliotecas de terceiros:

• OpenSSL 3.0.15 (anteriormente 3.0.13)
• libcURL 8.10.1 (anteriormente 8.7.1)
• UTI 74,2 (anteriormente 71,1)
• Arrow 15.0.0 (anteriormente 9.0.0) para OSX & Linux (Windows estava na versão 15.0.0)
• LZ4 1.10.0 (anteriormente 1.9.4)
• Expatriado 2.6.3 (anteriormente 2.6.2)
• Kerberos 1.21.3 (anteriormente 1.21.2)

Para obter informações completas sobre a configuração, consulte o Guia do driver ODBC do Databricks instalado com o pacote de download do driver.

Publicar os registos de eventos de pipeline como tabelas do Unity Catalog

28 de fevereiro de 2025

Agora você pode publicar logs de eventos para pipelines DLT como tabelas no Unity Catalog. Consulte o log de eventos .

O Mosaic AI Model Serving está agora disponível no Azure Japão Este, Reino Unido Sul e Sul Central dos EUA

28 de fevereiro de 2025

O Mosaic AI Model Serving agora é suportado nas seguintes regiões:

• japaneast
• uksouth
• southcentralus

Veja Funcionalidades com disponibilidade regional limitada.

Databricks Assistant fornece informações sobre tabelas e linhagem

27 de fevereiro de 2025

Nos espaços de trabalho do Azure Databricks habilitados com o catálogo Unity, o Databricks Assistant pode fornecer linhagem de tabelas e insights quando utiliza prompts simples.

Veja Obter a linhagem da tabela usando o Código Genie.

Importar partilhas abertas da Delta Sharing diretamente para o Azure Databricks usando o diálogo Importar fornecedor

26 de fevereiro de 2025

Os espaços de trabalho de Azure Databricks habilitados pelo Unity Catalog incluem um diálogo Import provider para importar partilhas de servidores Delta Sharing não-Databricks para o Unity Catalog usando partilha Open-to-Databricks (O2D). Este recurso foi lançado em julho de 2024, mas não foi anunciado na época. Quando o utiliza para importar um fornecedor, os seus utilizadores têm uma experiência de destinatário essencialmente idêntica à que teriam com a partilha de Databricks para Databricks: clique em Criar catálogo para criar um catálogo partilhado, use os controlos de acesso do Unity Catalog para conceder acesso a tabelas partilhadas e utilize a sintaxe padrão do Unity Catalog para consultar essas partilhas, sem a necessidade de armazenar um ficheiro de credenciais ou especificá-lo ao consultar dados partilhados. Veja Azure Databricks: Leia dados partilhados usando conectores de partilha abertos.

Compartilhamento Delta de fornecedores de compartilhamento aberto para Azure Databricks usando OAuth

26 de fevereiro de 2025

O Azure Databricks agora suporta Credenciais de Cliente OAuth para partilha Open-to-Databricks (O2D), ou seja, desde servidores Delta Sharing não-Databricks até espaços de trabalho Azure Databricks ativados para o Unity Catalog. Isso facilita a importação de compartilhamentos de redes de provedores de compartilhamento Delta, como o Oracle Delta Share, que usam credenciais de cliente OAuth. Esse suporte aumenta as vantagens já consideráveis de usar o Unity Catalog como destinatário no modelo O2D, que incluem a interface do usuário do provedor de importação para importar compartilhamentos e a capacidade de usar a sintaxe padrão do Unity Catalog para consultar esses compartilhamentos, sem a necessidade de armazenar um arquivo de credenciais ou especificá-lo quando você consulta dados compartilhados. Veja Azure Databricks: Leia dados partilhados usando conectores de partilha abertos.

O streaming de leituras em visualizações do Unity Catalog está em disponibilidade geral.

25 de fevereiro de 2025

As leituras de streaming das visualizações do Catálogo Unity registradas em tabelas Delta agora estão disponíveis para o público em geral. Consulte Ler uma visualização do Catálogo Unity como um fluxo.

A ordenação cronológica de eventos para o processamento inicial de fluxo instantâneo está disponível de forma geral.

25 de fevereiro de 2025

A opção withEventTimeOrder para processar consultas de Streaming Estruturado de fontes de tabela Delta está agora geralmente disponível. Veja Instantâneo inicial do processo sem perder dados.

O acompanhamento assíncrono do progresso é GA

25 de fevereiro de 2025

O acompanhamento assíncrono do progresso do Structured Streaming agora está disponível para o público em geral. Ver Acompanhamento assíncrono do progresso.

A tabela do sistema de utilização faturável agora atribui custos de ligação a endereços de rede privados.

25 de fevereiro de 2025

A tabela do sistema de uso faturável agora inclui campos para ajudar a monitorizar os custos incorridos ao conectar o cómputo sem servidor aos seus recursos através de pontos de extremidade privados. Consulte Tabela de referência do sistema de uso faturável.

O MLflow Tracking está em Disponibilidade Geral

25 de fevereiro de 2025

O MLflow Tracing está agora disponível para o público em geral. Com o rastreamento, você pode rastrear entradas, saídas e outros metadados associados a cada etapa de uma solicitação de modelo ou agente.

O rastreamento permite identificar a origem de bugs e comportamentos inesperados, comparar o desempenho entre modelos ou agentes e criar novos conjuntos de dados para melhorar a qualidade. Ver MLflow Tracing - Observabilidade GenAI.

Novo painel de filtros no Databricks Marketplace

25 de fevereiro de 2025

O Databricks Marketplace agora inclui um painel de filtro aprimorado projetado para simplificar a pesquisa e a navegação. Esta atualização melhora a capacidade de descoberta, facilitando a pesquisa por produto, fornecedor, preço e muito mais. Veja Navegar pelas listagens do Databricks Marketplace.

Tempo de vida secreto OAuth agora configurável

24 de fevereiro de 2025

Os segredos OAuth para entidades de serviço agora têm um tempo de vida configurável. Os segredos OAuth recém-criados têm como padrão uma vida útil máxima de dois anos, enquanto anteriormente, eles não expiravam. Ver Autorizar o acesso do principal de serviço ao Azure Databricks com OAuth.

Visualizar arquivos em volumes

18 de fevereiro de 2025

Os volumes agora exibem visualizações para formatos de arquivo comuns no Gerenciador de Catálogos, incluindo imagens, arquivos de texto, JSON, yaml e CSV. Consulte Pré-visualização de ficheiros em volumes.

Os registos de faturação do serviço de modelagem são agora registados em intervalos de cinco minutos

18 de fevereiro de 2025

Para melhorar a observabilidade de custos, os registos de faturação são agora mantidos a cada cinco minutos de serviço de modelo e utilização de largura de banda provisionada. Anteriormente, os registros eram registrados em intervalos de uma hora. Consulte Tabela de referência do sistema de uso faturável. Observe que o uso do Foundation Model Api Pay-Per-Token ainda é agregado em intervalos horários.

Agrupamento automático de líquidos (Visualização pública)

18 de fevereiro de 2025

Agora pode ativar o agrupamento líquido automático em tabelas geridas do Unity Catalog. O agrupamento líquido automático seleciona de forma inteligente as chaves de agrupamento para otimizar a disposição dos dados para as suas consultas. Consulte Agrupamento automático de líquidos.

Plano de controlo dedicado para a região Azure Canada East

14 de fevereiro de 2025

O Databricks oferece agora um plano de controlo dedicado para a região Azure Canadá Este, anteriormente gerido pelo plano de controlo Canada Central. Consulte endereços e domínios IP para serviços e ativos Azure Databricks.

Termina o suporte da série Databricks Runtime 14.1

12 de fevereiro de 2025

O suporte para Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning terminou a 5 de novembro. Consulte Ciclos de vida de suporte do Databricks.

Armazéns SQL sem servidor agora disponíveis em regiões adicionais

12 de fevereiro de 2025

Armazéns SQL Serverless estão agora disponíveis nas seguintes regiões do Azure: Ásia Oriental, Coreia Central, Suíça Norte, Oeste Central dos EUA e Oeste dos EUA 3. Consulte as regiões do Azure Databricks.

Databricks Runtime 16.2 está em GA

10 de fevereiro de 2025

O Databricks Runtime 16.2 e o Databricks Runtime 16.2 ML estão agora disponíveis para o público em geral.

Ver Databricks Runtime 16.2 (EoS) e Databricks Runtime 16.2 para Machine Learning (EoS).

Suporte para streaming de Scala foreach, foreachBatch, e flatMapGroupsWithState na computação no modo de acesso padrão (anteriormente denominado modo de acesso compartilhado)

7 de fevereiro de 2025

A computação no modo de acesso standard agora suporta a função de streaming em Scala DataStreamWriter.foreach no Databricks Runtime 16.1 ou versões superiores. No Databricks Runtime 16.2 e superior, as funções DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState são suportadas.

O acesso controlado pelo Unity Catalog a serviços de nuvem externos usando credenciais de serviço está agora disponível.

7 de fevereiro de 2025

As credenciais de serviço permitem autenticação simples e segura com os serviços do seu inquilino cloud a partir do Azure Databricks. As credenciais de serviço estão geralmente disponíveis e agora suportam SDKs Scala, além do SDK Python suportado na Pré-visualização Pública. O recurso totalmente GA requer computação no Databricks Runtime 16.2 ou superior. Consulte Criar credenciais de serviço.

Descarregue, pois o Excel agora é suportado em cadernos ligados a SQL warehouses

6 de fevereiro de 2025

Para cadernos ligados a armazéns SQL, agora pode descarregar resultados em células que contêm dados tabulares como ficheiro Excel. Consulte Resultados do download.

Gravar dados de pipelines para serviços externos com coletores DLT (Visualização pública)

5 de fevereiro de 2025

A API sink DLT está em Visualização Pública. Com os sinks DLT, pode escrever dados transformados pelo seu pipeline para destinos como serviços de streaming de eventos como Apache Kafka ou Hubs de Eventos do Azure, e tabelas externas geridas pelo Unity Catalog ou pela metastore Hive. Ver Sumidouros em Lakeflow Faísca Oleodutos Declarativos.

Gestão automática de identidades (Pré-visualização Pública)

5 de fevereiro de 2025

Agora pode adicionar utilizadores, principais de serviço e grupos do Microsoft Entra ID ao Azure Databricks sem configurar uma aplicação no Microsoft Entra ID usando gestão automática de identidades. Quando a gestão automática de identidade está ativada, pode pesquisar diretamente nos espaços de trabalho federados de identificação os utilizadores, os principais de serviço e os grupos do Microsoft Entra ID e adicioná-los ao seu espaço de trabalho. O Databricks utiliza o Microsoft Entra ID como fonte de registo, pelo que quaisquer alterações na pertença a grupos são respeitadas no Azure Databricks. O gerenciamento automático de identidades também oferece suporte a grupos aninhados.

Veja Sincronizar utilizadores e grupos automaticamente a partir de Microsoft Entra ID.

Nova região: México Central

4 de fevereiro de 2025

O Azure Databricks está agora disponível no México Central. Consulte as regiões do Azure Databricks.