Novembro de 2024

Estas funcionalidades e melhorias na plataforma Azure Databricks foram lançadas em novembro de 2024.

Metadados adicionais para a tooltip de tabelas em cadernos

25 de novembro de 2024

Ao colocar o cursor sobre o nome de uma tabela do Catálogo Unity numa célula de bloco de notas, a dica de ferramenta agora inclui os seguintes metadados:

• Proprietário
• Última atualização
• Tamanho
• Descrição
• Um link para exibir a tabela no painel lateral do Catalog Explorer

A atualização automática do cluster e a interface do usuário aprimorada de segurança e conformidade estão geralmente disponíveis

19 de novembro de 2024

A atualização automática do cluster agora está disponível para o público em geral. A atualização automática de cluster garante que todos os clusters em um espaço de trabalho sejam atualizados periodicamente para a imagem mais recente do sistema operacional host e as atualizações de segurança. A capacidade de habilitar recursos aprimorados de segurança e conformidade no console da conta também está agora disponível ao público em geral. Consulte Atualização automática de cluster e Configurar configurações de conformidade e segurança aprimoradas.

Suporte ampliado para o depurador Python em notebooks

18 de novembro de 2024

O depurador incorporado do Python nos notebooks do Databricks é agora suportado em computação serverless e computação configurada com modo de acesso padrão (anteriormente modo de acesso partilhado) no Databricks Runtime 14.3 LTS ou superior. Para saber mais sobre o depurador, consulte Depurar cadernos.

Experiência melhorada no terminal Web

18 de novembro de 2024

A Databricks fez as seguintes melhorias na experiência do terminal web:

• Suporte para arquivos de configuração: Agora você pode definir configurações persistentes para seu terminal da Web Databricks com arquivos de configuração .bashrc. Consulte Configurar o seu terminal da Web.
• Histórico do ciclo de comandos: Agora você pode percorrer comandos executados em sessões anteriores com as teclas de seta "Para cima" e "Para baixo". Isso facilita a recuperação e reutilização de comandos anteriores sem digitá-los novamente.
• Suporte a clusters compartilhados: Nosso terminal web aprimorado está disponível em computação com modo de acesso padrão no Databricks Runtime 15.1 e superior.

Para saber mais sobre a utilização do terminal web, consulte Execute comandos shell no terminal web do Azure Databricks.

Histórico de consultas e suporte de perfil de consulta para DLT

15 de novembro de 2024

O Azure Databricks oferece agora ferramentas melhoradas para monitorizar o desempenho das consultas em pipelines DLT. Consulte Histórico de consultas do Access para pipelines.

Renomeação do Treinamento do Modelo de IA Mosaic

15 de novembro de 2024

O Mosaic AI Model Training foi renomeado para abranger os recursos existentes:

• O Foundation Model Fine-tuning, anteriormente conhecido como Mosaic AI Model Training, continua a oferecer personalização avançada para modelos de fundação.
• Os recursos do AutoML agora podem ser acessados na seção Experimentos .

Reutilizar saídas SQL como _sqldf em células SQL posteriores

15 de novembro de 2024

No Databricks Runtime 14.3 e superior, a execução de uma consulta SQL em um bloco de anotações Databricks gera um DataFrame implícito (_sqldf) que você pode usar em células SQL downstream. Isto contribui para o suporte à utilização da variável _sqldf em células de Python introduzidas no Databricks Runtime 13.3. Consulte Explorar resultados de células SQL.

Conectividade privada do suporte de computação serverless para recursos geridos pelo Azure

15 de novembro de 2024

Todos os recursos geridos pelo Azure com suporte nativo para endpoints privados são agora suportados por computação serverless. Este recurso está disponível em geral. Veja Configurar conectividade privada a recursos Azure.

Suporte de conectividade privada para trabalhos, notebooks e DLT

15 de novembro de 2024

A conectividade privada para computação sem servidor agora suporta trabalhos, blocos de anotações e cargas de trabalho DLT. Este recurso está disponível em geral. Veja Configurar conectividade privada a recursos Azure.

A tabela do sistema de armazéns já está disponível (Visualização pública)

15 de novembro de 2024

A tabela system.compute.warehouses registra as configurações do SQL warehouse. Cada linha é um instantâneo das propriedades de um armazém de dados SQL num ponto específico no tempo. Um novo instantâneo é criado quando as propriedades são alteradas. Consulte a tabela de referência do sistema de Armazéns .

Partilha de vistas entre plataformas (Pré-visualização Pública)

14 de novembro de 2024

Os destinatários do Databricks agora podem consultar exibições compartilhadas usando qualquer recurso de computação do Databricks. Anteriormente, se a conta Azure Databricks de um destinatário fosse diferente da conta do fornecedor, os destinatários só podiam consultar uma visão partilhada usando um SQL warehouse em modo serverless. Ver as vistas partilhadas .

O compartilhamento de exibição agora também se estende a conectores de compartilhamento abertos. Veja Ler dados partilhados usando Delta Sharing, partilha aberta com tokens de portador.

A pré-visualização pública das Clean Rooms não tem restrições, com novas funcionalidades

13 de novembro de 2024

O Databricks Clean Rooms usa o Delta Sharing e a computação sem servidor para fornecer um ambiente seguro e que protege a privacidade, onde várias partes podem compartilhar dados corporativos confidenciais e colaborar sem acesso direto aos dados uns dos outros. A pré-visualização pública do Clean Rooms está agora aberta a todos os clientes no Azure e AWS, e inclui as seguintes novas funcionalidades:

• As tabelas de saída são tabelas temporárias somente leitura geradas por uma execução de um notebook e compartilhadas com o metastore Unity Catalog dos executantes de notebook.

  As tabelas de saída podem ser criadas ou lidas por colaboradores no Azure, AWS e Google Cloud, mas só são suportadas quando a sala limpa central está alojada na AWS.

• Tipos de tarefas de cadernos de sala limpa permitem que execute cadernos do Azure Databricks numa sala limpa como parte de um fluxo de trabalho. Juntamente com o suporte para valores de tarefas e tabelas de saída, esta é uma ferramenta poderosa para executar fluxos de trabalho complexos em dados compartilhados em salas limpas.

• Controlo de egressão sem servidor permite restringir o acesso de saída das salas limpas centrais para destinos na Internet que especificar.

Ver O que é Azure Databricks Clean Rooms?.

Databricks Runtime 16.0 é GA

11 de novembro de 2024

O Databricks Runtime 16.0 e o Databricks Runtime 16.0 ML estão agora disponíveis para o público em geral.

Ver Databricks Runtime 16.0 (EoS) e Databricks Runtime 16.0 para Machine Learning (EoS).

Mudança importante: O RStudio hospedado está descontinuado.

11 de novembro de 2024

No Databricks Runtime 16.0 e superiores, o RStudio Server alojado no Databricks está no fim da vida útil e não está disponível em qualquer espaço de trabalho do Azure Databricks. Para saber mais e ver uma lista de alternativas ao RStudio, consulte Conectar-se a um servidor RStudio hospedado pelo Databricks.

Otimização preditiva ativada para todas as novas contas Azure Databricks

11 de novembro de 2024

A 11 de novembro, o Databricks ativou a otimização preditiva como padrão para todas as contas novas Azure Databricks. Anteriormente, ele estava desativado por padrão e podia ser ativado através da sua conta de administrador. Quando a otimização preditiva está ativada, o Azure Databricks executa automaticamente operações de manutenção para tabelas geridas pelo Unity Catalog. Para obter mais informações sobre otimização preditiva, consulte Otimização preditiva para tabelas geridas pelo Unity Catalog.

Blocos de código somente leitura atualizados e unificados

8 de novembro de 2024

Um novo bloco de código só de leitura agora está disponível no Explorador de Catálogo, na página de alertas e no Genie.

Aumento das recomendações de Correção Rápida

8 de novembro de 2024

O Databricks Assistant Quick Fix identifica agora e sugere correções para uma gama mais ampla de erros comuns em SQL e Python. Com um aumento de 50% na deteção de erros, o Quick Fix pode ajudá-lo a depurar seu código mais rapidamente. Consulte Correção rápida.

Pagamento por token das APIs dos Modelos Fundamentais disponível em todas as regiões suportadas pelo Model Serving

7 de novembro de 2024

As cargas de trabalho das APIs de pagamento por token do Foundation Model agora são suportadas em todas as regiões onde o Mosaic AI Model Serving está disponível. Se o seu espaço de trabalho estiver em uma região de Serviço de Modelo, mas não em uma região dos EUA ou da UE, seu espaço de trabalho deverá estar habilitado para processamento de dados geográficos cruzados. Quando habilitada, sua carga de trabalho de pagamento por token é roteada para os EUA. Databricks Geo.

Acesso controlado pelo catálogo Unity a serviços de nuvem externos usando credenciais de serviço (Visualização pública)

7 de novembro de 2024

As credenciais de serviço permitem autenticação simples e segura com os serviços do seu inquilino cloud usando identidades geridas do Azure (MI) e Unity Catalog. As credenciais de serviço estão em pré-visualização pública e são suportadas no Databricks Runtime 15.4 LTS e superior. Consulte Criar credenciais de serviço.

Controlos de conformidade do UK Cyber Essentials Plus

7 de novembro de 2024

Os controlos de conformidade do UK Cyber Essentials Plus (UKCE+) fornecem melhorias que o ajudam com a conformidade do seu espaço de trabalho. UKCE+ é uma certificação criada pelo governo do Reino Unido para simplificar e padronizar as práticas de segurança de TI para organizações comerciais que interagem com dados do governo do Reino Unido. Consulte UK Cyber Essentials Plus.

Conectividade privada do suporte de computação sem servidor para serviço de modelo

5 de novembro de 2024

A computação serverless com conectividade privada usando Azure Private Link é agora suportada para entrega de modelos. Isso inclui suporte para pontos de extremidade de modelo personalizado e pontos de extremidade de taxa de transferência provisionados. Veja Configurar conectividade privada a recursos Azure.

Termina o suporte da série Databricks Runtime 14.2

5 de novembro de 2024

O suporte para Databricks Runtime 14.2 e Databricks Runtime 14.2 para Machine Learning terminou a 5 de novembro. Consulte Ciclos de vida de suporte do Databricks.