Fevereiro de 2025

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em fevereiro de 2025.

Driver ODBC do Databricks 2.9.1

28 de fevereiro de 2025

O Databricks ODBC Driver versão 2.9.1 agora está disponível para download na página de download do driver ODBC .

Esta versão inclui os seguintes aprimoramentos e novos recursos:

• Adicionado suporte à renovação de token para o fluxo OAuth de passagem de token.
• Adicionada uma opção de tempo limite no lado do driver para instruções ociosas. Um timeout pode ser configurado para impedir que um aplicativo interrompa a busca de resultados e fique travado no meio de uma execução de consulta.

Esta versão resolve os seguintes problemas:

• Se o catálogo inicial não estiver definido, o driver agora usará o catálogo de hive_metastore.
• O driver atualiza o User-Agent HTTP de thrift/0.9.0 para thrift/0.17.0.

Esta versão inclui atualizações para várias bibliotecas de terceiros:

• OpenSSL 3.0.15 (anteriormente 3.0.13)
• libcURL 8.10.1 (anteriormente 8.7.1)
• UTI 74.2 (anteriormente 71.1)
• Arrow 15.0.0 (anteriormente 9.0.0) para OSX & Linux (Windows já estava na 15.0.0)
• lz4 1.10.0 (anteriormente 1.9.4)
• Expatriado 2.6.3 (anteriormente 2.6.2)
• Kerberos 1.21.3 (anteriormente 1.21.2)

Para obter informações de configuração completas, consulte o Databricks ODBC Driver Guide instalado com o pacote de download do driver.

Publicar logs de eventos de pipeline como tabelas do Catálogo do Unity

28 de fevereiro de 2025

Agora você pode publicar logs de eventos para pipelines DLT como tabelas no Catálogo do Unity. Consulte Consultar o log de eventos.

O Mosaic AI Model Serving agora está disponível em Azure Leste do Japão, Sul do Reino Unido e Centro-Sul dos EUA

28 de fevereiro de 2025

O Mosaic AI Model Serving agora tem suporte nas seguintes regiões:

• japaneast
• uksouth
• southcentralus

Confira Recursos com disponibilidade regional limitada.

O Assistente do Databricks fornece insights e linhagem de tabelas

27 de fevereiro de 2025

Nos workspaces do Azure Databricks ativados para o Unity Catalog, o Assistente do Databricks pode fornecer linhagem de tabelas e insights ao usar prompts simples.

Consulte Obter linhagem de tabela usando o Genie Code.

Importar compartilhamentos do Delta Sharing abertos diretamente no Azure Databricks usando a caixa de diálogo Importar provedor

26 de fevereiro de 2025

Os workspaces de Azure Databricks habilitados para Catálogo do Unity incluem uma caixa de diálogo Import provider para importar compartilhamentos de servidores Delta Sharing não Databricks para o Catálogo do Unity usando o compartilhamento O2D (Open-to-Databricks). Esse recurso foi lançado em julho de 2024, mas não foi anunciado na época. Quando você o usa para importar um provedor, os usuários têm essencialmente a mesma experiência de destinatário que teriam com o compartilhamento Databricks-to-Databricks: clique em Criar catálogo para criar um catálogo compartilhado, use os controles de acesso do Unity Catalog para conceder acesso a tabelas compartilhadas e utilize a sintaxe padrão do Unity Catalog para consultar esses compartilhamentos, sem necessidade de armazenar um arquivo de credencial ou especificá-lo ao consultar dados compartilhados. Consulte Azure Databricks: ler dados compartilhados usando conectores de compartilhamento aberto.

Compartilhamento Delta de provedores de compartilhamento público para Azure Databricks usando OAuth

26 de fevereiro de 2025

Azure Databricks agora oferece suporte às Credenciais de Cliente OAuth para compartilhamento O2D (Open-to-Databricks), ou seja, de servidores de Delta Sharing não-Databricks para workspaces do Azure Databricks habilitados para o Unity Catalog. Isso facilita a importação de compartilhamentos de redes de provedor de compartilhamento Delta, como o Oracle Delta Share, que usam credenciais de cliente OAuth. Esse suporte adiciona às vantagens já consideráveis de usar o Catálogo do Unity como destinatário no modelo O2D, que incluem a interface do usuário do provedor de importação para importar compartilhamentos e a capacidade de usar a sintaxe padrão do Catálogo do Unity para consultar esses compartilhamentos, sem a necessidade de armazenar um arquivo de credencial ou especificá-lo ao consultar dados compartilhados. Consulte Azure Databricks: ler dados compartilhados usando conectores de compartilhamento aberto.

As leituras de streaming nas exibições do Catálogo do Unity são GA

25 de fevereiro de 2025

Agora, as leituras de streaming das exibições do Catálogo do Unity registradas nas tabelas do Delta estão em disponibilidade geral. Consulte Ler uma exibição do Catálogo do Unity como um fluxo.

A ordenação do tempo do evento no processamento inicial do fluxo de instantâneos está em disponibilidade geral

25 de fevereiro de 2025

Agora, a opção withEventTimeOrder para processar as consultas do Streaming Estruturado das fontes da tabela do Delta está disponível em geral. Consulte Processar instantâneo inicial sem descartar dados.

O acompanhamento do progresso assíncrono está em disponibilidade geral

25 de fevereiro de 2025

O acompanhamento de progresso assíncrono para o Streaming Estruturado agora está disponível em geral. Consulte o acompanhamento de progresso assíncrono.

A tabela do sistema de uso faturável agora atribui custos de sistema de rede do ponto de extremidade privado

25 de fevereiro de 2025

Agora, a tabela do sistema de uso faturável inclui campos que ajudam a monitorar os custos incorridos pela conexão de computação sem servidor aos seus recursos, usando pontos de extremidade privados. Veja Tabela de referência do sistema de uso faturável.

O Rastreamento do MLflow está em disponibilidade geral

25 de fevereiro de 2025

Agora, o Rastreamento do MLflow está em disponibilidade geral. Com o Rastreamento, você pode acompanhar entradas, saídas e outros metadados associados a cada etapa de uma solicitação de modelo ou agente.

O rastreamento permite identificar a origem dos bugs e o comportamento inesperado, comparar o desempenho entre modelos ou agentes e criar novos conjuntos de dados para melhorar a qualidade. Veja Rastreamento do MLflow – Observabilidade do GenAI.

Novo painel de filtros no Databricks Marketplace

25 de fevereiro de 2025

O Databricks Marketplace agora inclui um painel de filtro aprimorado projetado para simplificar a pesquisa e a navegação. Essa atualização aprimora a capacidade de descoberta, facilitando a pesquisa por produto, provedor, preço e muito mais. Consulte Procurar listagens do Databricks Marketplace.

O tempo de vida do segredo OAuth agora é configurável

24 de fevereiro de 2025

Agora, os segredos do OAuth para a entidades de serviço têm um tempo de vida configurável. Os segredos OAuth recém-criados agora possuem um período de validade máximo padrão de dois anos, enquanto anteriormente, eles não expiravam. Consulte Autorizar o acesso do principal ao Azure Databricks com OAuth.

Visualizar arquivos em volumes

18 de fevereiro de 2025

Os volumes agora exibem visualizações para formatos de arquivo comuns no Gerenciador de Catálogos, incluindo imagens, arquivos de texto, JSON, yaml e CSV. Consulte Arquivos de visualização em volumes.

Agora, o modelo que fornece registros de cobrança é registrado nos intervalos de cinco minutos

18 de fevereiro de 2025

Para melhorar a observabilidade de custos, os registros de cobrança agora são registrados em log a cada cinco minutos de uso do serviço de modelo e da taxa de transferência provisionada. Anteriormente, os registros eram registrados em intervalos de uma hora. Veja Tabela de referência do sistema de uso faturável. Observe que o uso da API de Modelo de Base de Pagamento por Token ainda é agregado em um intervalo de uma hora.

Clustering líquido automático (Visualização Pública)

18 de fevereiro de 2025

Agora você pode habilitar o clustering líquido automático nas tabelas gerenciadas do Catálogo do Unity. O agrupamento automático de dados líquidos seleciona inteligentemente as chaves de agrupamento para otimizar o arranjo de dados para suas consultas. Consulte Clustering líquido automático.

Plano de controle dedicado para Azure região Leste do Canadá

14 de fevereiro de 2025

A Databricks agora oferece um plano de controle dedicado para a região Azure Canadá Leste, anteriormente gerenciada pelo plano de controle do Canadá Central. Consulte Endereços IP e domínios para os serviços e ativos do Azure Databricks.

O suporte para a série 14.1 do Databricks Runtime chegará ao fim.

12 de fevereiro de 2025

O suporte para Databricks Runtime 14.1 e Databricks Runtime 14.1 para Machine Learning terminou em 5 de novembro. Consulte Ciclos de vida de suporte do Databricks.

Os sql warehouses sem servidor agora estão disponíveis em regiões adicionais

12 de fevereiro de 2025

Serverless SQL warehouses agora estão disponíveis nas seguintes Azure regiões: Leste da Ásia, Coreia Central, Norte da Suíça, Centro-Oeste dos EUA e Oeste dos EUA 3. Consulte regiões do Azure Databricks.

O Databricks Runtime 16.2 está em Disponibilidade Geral (GA).

10 de fevereiro de 2025

O Databricks Runtime 16.2 e o Databricks Runtime 16.2 ML agora estão disponíveis em geral.

Consulte Databricks Runtime 16.2 (EoS) e Databricks Runtime 16.2 para Aprendizado de Máquina (EoS).

Suporte ao streaming do Scala foreach, foreachBatche flatMapGroupsWithState na computação em modo de acesso padrão (anteriormente o modo de acesso compartilhado)

7 de fevereiro de 2025

Agora, a computação do modo de acesso padrão oferece suporte à função do streaming Scala DataStreamWriter.foreach no Databricks Runtime 16.1 e superior. No Databricks Runtime 16.2 e posteriores, há suporte para as funções DataStreamWriter.foreachBatch e KeyValueGroupedDataset.flatMapGroupsWithState.

Agora, o acesso controlado pelo Catálogo do Unity aos serviços de nuvem externos que usam as credenciais de serviço está em disponibilidade geral

7 de fevereiro de 2025

As credenciais de serviço permitem a autenticação simples e segura nos serviços do locatário na nuvem do Azure Databricks. As credenciais de serviço estão disponíveis geralmente e agora dão suporte a SDKs do Scala, além do SDK de Python que já era suportado na Visualização Pública. O recurso de GA completo requer computação no Databricks Runtime 16.2 ou superior. Consulte Criar credenciais de serviço.

Download como Excel agora tem suporte em notebooks conectados a SQL Warehouses

6 de fevereiro de 2025

Para notebooks conectados a SQL Warehouses, agora você pode baixar os resultados das células que contêm dados tabulares como um arquivo Excel. Consulte Baixar os resultados.

Gravar dados dos pipelines nos serviços externos com os coletores do DLT (Visualização Pública)

5 de fevereiro de 2025

A API sink do DLT está em Versão Prévia Pública. Com coletores DLT, você pode gravar dados transformados pelo pipeline em destinos como serviços de streaming de eventos, como Apache Kafka ou Hubs de Eventos do Azure, e tabelas externas gerenciadas pelo Catálogo do Unity ou pelo metastore do Hive. Consulte Coletores em Pipelines Declarativos do Lakeflow Spark.

Gerenciamento automático de identidade (versão prévia pública)

5 de fevereiro de 2025

Agora você pode adicionar usuários, entidades de serviço e grupos de Microsoft Entra ID em Azure Databricks sem configurar um aplicativo em Microsoft Entra ID usando o gerenciamento automático de identidade. Quando o gerenciamento automático de identidade está habilitado, você pode pesquisar diretamente em workspaces federados de identidade para usuários Microsoft Entra ID, entidades de serviço e grupos e adicioná-los ao seu workspace. O Databricks usa Microsoft Entra ID como fonte de registro, portanto, todas as alterações nas associações de grupo são respeitadas em Azure Databricks. O gerenciamento automático de identidade também dá suporte a grupos aninhados.

Consulte Sincronize usuários e grupos automaticamente do Microsoft Entra ID.

Nova região: México Central

4 de fevereiro de 2025

Azure Databricks agora está disponível no México Central. Consulte regiões do Azure Databricks.