Agosto de 2023

Estas funcionalidades e as melhorias da plataforma Azure Databricks foram lançadas em agosto de 2023.

As tabelas agora aparecem na pesquisa de navegação

31 de agosto de 2023

As tabelas registradas no Catálogo Unity agora aparecem na pesquisa de navegação na barra superior. Consulte Pesquisar por objetos do espaço de trabalho.

CLI do Databricks atualizada para a versão 0.203.3 (Visualização pública)

30 de agosto de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.3. Para obter detalhes, consulte o changelog para a versão 0.203.3.

Driver JDBC Databricks 2.6.34

30 de agosto de 2023

Lançamos a versão 2.6.34 do driver JDBC Databricks (download). Esta versão aborda uma série de problemas de vulnerabilidade atualizando bibliotecas de terceiros. Além disso, esta versão corrige os seguintes problemas:

• Vazamento de thread quando uma consulta não consegue se conectar ao servidor.
• Comentários ausentes na coluna REMARKS dos metadados da tabela.
• Quando uma operação de fechamento do conjunto de resultados retorna um erro, o conector não limpa as entradas do identificador de operação do thread de pulsação.

A versão também melhora o tratamento de mensagens de erro ao respeitar os códigos de erro do servidor e SQLState, além de verificar corretamente a versão do protocolo do servidor.

Databricks SDK for Go atualizado para a versão 0.18.0 (Beta)

29 de agosto de 2023

O Databricks SDK for Go versão 0.18.0 introduz 17 alterações de API significativas, adiciona 30 APIs e adiciona aproximadamente uma dúzia de campos. Para obter detalhes, consulte o changelog para a versão 0.18.0.

Databricks SDK para Python atualizado para a versão 0.7.0 (Beta)

29 de agosto de 2023

Databricks SDK para Python versão 0.7.0 introduz uma alteração disruptiva para a API de ficheiros, juntamente com 17 alterações disruptivas adicionais. Esta versão também adiciona 14 campos e adiciona 27 classes de dados. Para obter detalhes, consulte o changelog da versão 0.7.0.

Provedor Terraform do Databricks atualizado para a versão 1.24.1

29 de agosto de 2023

Databricks Terraform provider versão 1.24.1 inclui uma correção para verificação da acessibilidade do espaço de trabalho. Para obter detalhes, consulte o changelog para a versão 1.24.1.

Scripts de inicialização no DBFS com fim de vida cuja data foi estendida até 1 de dezembro de 2023

29 de agosto de 2023

A Databricks anunciou anteriormente que os scripts init no DBFS chegariam ao fim da vida útil em 1º de setembro de 2023. A data de fim de vida foi prorrogada para 1º de dezembro de 2023.

Databricks Runtime 14.0 (Beta)

29 de agosto de 2023

O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML já estão disponíveis como versões Beta.

Ver Databricks Runtime 14.0 (EoS) e Databricks Runtime 14.0 para Machine Learning (EoS).

A experiência de navegação unificada está em Disponibilidade Geral

28 de agosto de 2023

A experiência unificada de navegação do Azure Databricks está agora disponível de forma geral. Os usuários não podem mais reverter para a experiência de navegação clássica. Para obter mais informações, consulte Interface do usuário do espaço de trabalho.

Databricks Terraform provider foi atualizado para a versão 1.24.0

25 de agosto de 2023

A versão 1.24.0 do provedor Databricks Terraform adiciona suporte de API ao nível de conta para objetos do Unity Catalog, expandindo acl_principal_id para várias fontes de dados, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.24.0.

Configuração do Databricks Runtime for Genomics removida da página de configurações de administração do espaço de trabalho

25 de agosto de 2023

Os administradores de espaço de trabalho não podem mais habilitar ou desabilitar o Databricks Runtime for Genomics na página de configurações de administração do espaço de trabalho ou na API de configuração do espaço de trabalho. O tempo de execução do Databricks Genomics foi preterido e o suporte para o Databricks Runtime for Genomics foi removido em 24 de setembro de 2022.

O tempo de execução do Databricks Genomics foi preterido. Para equivalentes de código aberto, consulte repositórios de genomics-pipelines e Glow.

Para obter mais informações sobre a política e o cronograma de substituição do Databricks Runtime, consulte Versões LTS do Databricks Runtime suportadas.

Configuração de Serviços de Contêiner removida da página de configurações de administração do espaço de trabalho

25 de agosto de 2023

Os administradores do espaço de trabalho não podem mais habilitar ou desabilitar os Serviços de Contêiner na página de configurações de administração do espaço de trabalho. Os Serviços de Contêiner permitem que você use contêineres de clientes em seus clusters. Ele é habilitado por padrão em todos os novos espaços de trabalho. Os Serviços de Contêiner ainda podem ser habilitados ou desabilitados usando a API de configuração do Espaço de Trabalho. Para obter mais informações, consulte Habilitar serviços de contêiner.

CLI do Databricks atualizada para a versão 0.203.2 (Visualização pública)

24 de agosto de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.2. Para obter detalhes, consulte o changelog para a versão 0.203.2.

Ir para a definição de funções e variáveis em notebooks Python

24 de agosto de 2023

No Databricks Runtime 12.2 LTS e superiores, quando um caderno Python está ligado a um cluster, pode navegar automaticamente até à definição de uma variável ou função definida nesse caderno. Consulte Ir para a definição para obter detalhes.

Databricks Runtime 13.3 LTS é GA

22 de agosto de 2023

Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML estão agora disponíveis para o público em geral.

Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Aprendizado de Máquina.

Apresentando tags com o Unity Catalog

22 de agosto de 2023

Agora você pode aplicar tags aos seus objetos protegíveis no Unity Catalog. As tags ajudam a organizar objetos protegíveis e simplificam a pesquisa e a descoberta de seus ativos de dados. Consulte Aplicar tags a objetos securizáveis do Unity Catalog.

A lista de permissões para scripts init, JARs e coordenadas Maven em clusters compartilhados do Unity Catalog está em Visualização Pública

23 de agosto de 2023

Agora pode utilizar o Unity Catalog allowlist para controlar a instalação de scripts de inicialização, JARs, e coordenadas Maven na computação no modo de acesso partilhado, executando o Databricks Runtime 13.3 e versões superiores. Consulte bibliotecas de Lista de Permissões e scripts de inicialização em computadores com o modo de acesso padrão (anteriormente modo de acesso compartilhado).

O suporte a volumes para scripts init e JARs está em Visualização Pública

23 de agosto de 2023

Agora você pode usar os volumes do Catálogo Unity para armazenar scripts de inicialização e JARs em computação com modos de acesso atribuídos ou compartilhados executando o Databricks Runtime 13.3 e superior. Consulte Bibliotecas com escopo de computação e Instalar bibliotecas de um volume.

Comits de saída de ficheiros .ipynb para Databricks Repos mais simples

21 de agosto de 2023

O Databricks Repos adicionou funcionalidades para tornar os commits de saída de ficheiros .ipynb mais fáceis de controlar e ver:

• Repos pode criar um ficheiro de configuração commit_output para si.
• As notificações na interface do usuário informam o status das confirmações de saída.
• No menu Ficheiro, você pode controlar se as saídas dos notebooks são guardadas.

Consulte Controlar confirmações de saída do caderno .ipynb.

O suporte a notebooks IPYNB nos repositórios do Databricks está em Disponibilidade Geral.

21 de agosto de 2023

O suporte a ficheiros de cadernos IPYNB nos Databricks Repos é GA. Para mais informações sobre o Repos, veja:

• Suporte para notebooks IPYNB
• Pastas Git do Azure Databricks

Databricks SDK for Go atualizado para a versão 0.17.0 (Beta)

18 de agosto de 2023

O Databricks SDK for Go versão 0.17.0 adiciona mais de 30 APIs e renomeia cerca de 10 APIs. Para obter detalhes, consulte o changelog para a versão 0.17.0.

SDK Databricks para Python atualizado para a versão 0.6.0 (Beta)

18 de agosto de 2023

Databricks SDK para Python versão 0.6.0 adiciona cerca de 20 classes de dados, acrescenta cerca de 10 APIs e inclui cerca de 20 renomeações. Para obter detalhes, consulte o changelog para a versão 0.6.0.

CLI do Databricks atualizada para a versão 0.203.1 (Visualização pública)

16 de agosto de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.203.1. Para obter detalhes, consulte o changelog para a versão 0.203.1.

O navegador de esquema unificado agora é GA

16 de agosto de 2023

Uma maneira unificada de navegar em seus dados agora está disponível para blocos de anotações, Editor SQL e Gerenciador de Catálogos, incluindo os seguintes novos recursos:

• Versão condensada da árvore.
• Exibição da contagem de objetos do Unity Catalog no nível do esquema durante a filtragem.
• Clique com o botão direito do rato no menu para ver as ações.

As alterações de sub-rede sem servidor podem afetá-lo se você codificar IDs em um script ou modelo

15 de agosto de 2023

Se usares um firewall Azure Storage, até ao final de agosto, alguns IDs de sub-rede estão a mudar. Isto não afeta a maioria dos clientes porque Azure migra automaticamente os IDs de sub-rede nas regras existentes do firewall de armazenamento. Essa migração não afeta as cargas de trabalho existentes.

Se codificar a lista de sub-redes serverless num modelo ou script que atualiza as suas regras de firewall de armazenamento Azure, deve obter a lista mais recente de IDs de sub-rede antes de tentar atualizar as regras. Para os IDs mais recentes de cada região, veja Azure Databricks regions.

Databricks SDK for Go atualizado para a versão 0.16.0 (Beta)

14 de agosto de 2023

O Databricks SDK for Go versão 0.16.0 adiciona cerca de uma dúzia de campos, remove cerca de meia dúzia de campos e altera as assinaturas de cerca de meia dúzia de APIs. Para obter detalhes, consulte o changelog para a versão 0.16.0.

O Partner Connect suporta o Census

14 de agosto de 2023

Agora pode usar o Partner Connect para ligar o seu espaço de trabalho do Azure Databricks ao Census. Para obter mais informações, consulte Conectar-se ao censo.

Azure Key Vault Managed HSM agora suporta chaves geridas pelo cliente

14 de agosto de 2023

Alguns serviços e dados do Azure Databricks suportam a adição de uma chave gerida pelo cliente para ajudar a proteger e controlar o acesso a dados encriptados. O Azure Databricks tem três funcionalidades-chave geridas pelo cliente que envolvem diferentes tipos de dados e localizações. Estas três funcionalidades suportam agora chaves geridas pelo cliente do Azure Key Vault Managed HSM (Módulos de Segurança de Hardware) juntamente com os cofres do Azure Key Vault. Consulte Chaves gerenciadas pelo cliente para criptografia.

SDK Databricks para Python atualizado para a versão 0.5.0 (Beta)

11 de agosto de 2023

Databricks SDK para Python versão 0.5.0 altera as assinaturas de meia dúzia de APIs, adiciona uma dúzia de campos, remove meia dúzia de campos e adiciona algumas dataclasses. Para obter detalhes, consulte o changelog para a versão 0.5.0.

Suporte de gravação programática para arquivos de espaço de trabalho

11 de agosto de 2023

Os clusters que usam o Databricks Runtime 11.2 e superior suportam a gravação em arquivos de espaço de trabalho. Você pode criar, atualizar e excluir arquivos e diretórios programaticamente em seu espaço de trabalho.

CLI do Databricks atualizada para a versão 0.203.0 (Public Preview)

10 de agosto de 2023

A interface de linha de comando Databricks (Databricks CLI) versão 0.203.0 melhora o auth login comando e muito mais. Para obter detalhes, consulte o changelog para a versão 0.203.0.

O provedor Terraform do Databricks foi atualizado para a versão 1.23.0

9 de agosto de 2023

Databricks Terraform provider versão 1.23.0 amplia RunJobTask com campos suportados adicionais em databricks_job, adiciona suporte para exportadores para databricks_model_serving, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.23.0.

Os grupos agora podem ser renomeados

8 de agosto de 2023

Agora você pode renomear grupos de contas existentes e grupos locais de espaço de trabalho. Consulte Alterar o nome de um grupo.

Databricks SDK for Go atualizado para a versão 0.15.0 (Beta)

7 de agosto de 2023

O Databricks SDK for Go versão 0.15.0 refatora APIs relacionadas a permissões para torná-las mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o changelog para a versão 0.15.0.

Databricks SDK para Python atualizado para a versão 0.4.0 (Beta)

7 de agosto de 2023

Databricks SDK para Python versão 0.4.0 refatora APIs relacionadas com permissões para as tornar mais compreensíveis e fáceis de usar. Para obter detalhes, consulte o changelog da versão 0.4.0.

A definição de configuração de prevenção de iFraming de terceiros foi removida

7 de agosto de 2023

Azure Databricks reduz o risco de domínios de terceiros inserirem Azure Databricks em iFrames ao adicionar cabeçalhos HTTP apropriados. A prevenção de iFraming de terceiros continua ativada por defeito, mas o Azure Databricks removeu a configuração de administrador do espaço de trabalho para desativá-la. Se você desabilitou anteriormente o iFraming de terceiros para um espaço de trabalho, o recurso continua a ser desabilitado para esse espaço de trabalho. Para reativar o iFraming de terceiros, contacte a sua equipa de contas do Azure Databricks.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.1

4 de agosto de 2023

A extensão Databricks para Visual Studio Code versão 1.1.1 fornece várias correções menores, por exemplo, o tratamento correto da variável de ambiente HOME em Windows, entre outras. Para obter detalhes, consulte o changelog para a versão 1.1.1.

LangChain disponível em 13.1 e superior

4 de agosto de 2023

O LangChain está disponível como uma versão experimental de MLflow que permite aos clientes LangChain tirar partido das ferramentas robustas e das capacidades de acompanhamento de experiências do MLflow diretamente do ambiente Azure Databricks.

LangChain é uma estrutura de software projetada para ajudar a criar aplicativos que utilizam grandes modelos de linguagem (LLMs) e combiná-los com dados externos para trazer mais contexto de treinamento para LLMs.

Databricks Runtime para Machine Learning inclui langchain em Databricks Runtime 13.1 ML e superiores.

Engenharia de funcionalidades no Unity Catalog está em pré-visualização pública.

3 de agosto de 2023

Com a Engenharia de Funcionalidades no Unity Catalog, o Unity Catalog torna-se o seu repositório de funcionalidades. Você pode usar qualquer tabela Delta com uma chave primária como uma tabela de recursos para treinamento ou inferência de modelos. O Unity Catalog fornece descoberta e governança de funcionalidades.

Tratamento de erros melhorado para repetidas falhas contínuas de trabalho

3 de agosto de 2023

Trabalhos contínuos que excedem um limite para falhas consecutivas agora usam um esquema de backoff exponencial para repetir execuções de trabalho de forma eficiente e permitir que os trabalhos se recuperem de problemas transitórios. Anteriormente, os trabalhos contínuos que excediam o limite de falha eram pausados e não repetidos.

Armazéns SQL sem servidor agora disponíveis em regiões adicionais

3 de agosto de 2023

Armazéns SQL sem servidor disponíveis em regiões adicionais: Leste da Austrália, Canadá Central, Oeste dos EUA 2, Centro-Sul dos EUA e Sudeste Asiático. Consulte as regiões do Azure Databricks.

Se planeias usar um firewall no Azure Storage, configura o firewall para permitir acesso das subnets do SQL data warehouse sem servidor. Consulte as regiões do Azure Databricks.

Compartilhar esquemas usando o Compartilhamento Delta (Visualização Pública)

2 de agosto de 2023

Agora você pode usar o Compartilhamento Delta para compartilhar um esquema inteiro, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você compartilhá-lo, juntamente com quaisquer tabelas e exibições que forem adicionadas ao esquema no futuro. Adicionar esquemas a um compartilhamento usando comandos SQL requer um SQL warehouse ou um cluster executando o Databricks Runtime 13.2 ou superior. Fazer o mesmo usando o Catalog Explorer não tem requisitos de computação. Consulte Adicionar esquemas a um compartilhamento.

Execute tarefas condicionalmente nos seus jobs do Azure Databricks

2 de agosto de 2023

Pode usar a nova condição Run if para executar uma tarefa de trabalho com base no estado das dependências da tarefa, proporcionando mais flexibilidade ao implementar um fluxo de trabalho com um trabalho Azure Databricks. Por exemplo, você pode usar a Run if condição para executar uma tarefa quando algumas ou todas as dependências da tarefa falharem. Consulte Configurar dependências de tarefas.

Databricks Terraform provedor atualizado para a versão 1.22.0

1 de agosto de 2023

O provedor Databricks Terraform versão 1.22.0 adiciona um recurso databricks_access_control_rule_set, adiciona fontes de dados databricks_metastore e databricks_metastore, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.22.0.

Recursos aprimorados de segurança e conformidade

1 de agosto de 2023

Você pode habilitar o perfil de segurança de conformidade, que fornece monitorização adicional, uma imagem de computação reforçada e outros recursos nos seus espaços de trabalho. O perfil de segurança de conformidade é obrigado a usar Azure Databricks para processar dados regulados por PCI-DSS, mas pode optar por ativar o perfil se não estiver a processar tais dados. Você é o único responsável por garantir sua própria conformidade com todas as leis e regulamentos aplicáveis.

Como alternativa, você pode habilitar separadamente o monitoramento de segurança aprimorado, que fornece monitoramento adicional e uma imagem de computação reforçada.

Ambos os recursos estão disponíveis como parte do novo complemento Segurança e Conformidade Aprimoradas. Se você habilitar qualquer um desses recursos em um espaço de trabalho, será cobrado pelo novo complemento conforme descrito na página de preços. Ambos os recursos exigem o nível de preço Premium.

Lakehouse Monitoring está em Pré-visualização Pública

1 de agosto de 2023

O Databricks Lakehouse Monitoring integra o monitoramento de dados e qualidade do modelo na plataforma Databricks. Ele fornece métricas de qualidade prontas para uso, como estatísticas resumidas, mudanças na distribuição ao longo do tempo e desempenho do modelo, incluindo equidade e parcialidade. O Lakehouse Monitoring gera automaticamente um painel de resumo para ajudá-lo a visualizar a qualidade dos dados ao longo do tempo. Você também pode configurar alertas com base nos dados.

Databricks Runtime 13.3 LTS (Beta)

1 de agosto de 2023

Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS ML estão agora disponíveis como versões Beta.

Consulte Databricks Runtime 13.3 LTS e Databricks Runtime 13.3 LTS para Aprendizado de Máquina.

Novas operações Git estão geralmente disponíveis: mesclar ramificações, rebasear e puxar com resolução de conflitos

1 de agosto de 2023

As seguintes operações Git estão agora geralmente disponíveis nos Databricks Repos:

• Fusão e rebase: Agora podes Git merge ou rebase dois ramos diretamente no Azure Databricks. Isso simplifica o processo de combinação de ramificações e fornece a capacidade de resolver conflitos que surgem durante a operação.
• Pull com resolução de conflitos: Agora pode usar o Databricks Repos para gerir e resolver conflitos que ocorrem ao fazer pull de um repositório Git remoto usando o Azure Databricks.

Com estas poderosas novas ferramentas de resolução de conflitos, colaborar em código usando o Databricks Repos torna-se ainda mais fluido e eficiente.