Setembro de 2023

Estas funcionalidades e as melhorias da plataforma Azure Databricks foram lançadas em setembro de 2023.

Lakehouse Federation disponível em clusters de usuário único

29 de setembro de 2023

A Lakehouse Federation agora está disponível em clusters de usuário único usando o Databricks Runtime 13.1 e superior. Somente o proprietário da conexão pode executar consultas em catálogos federados. Veja O que é Lakehouse Federation?.

Delegar a capacidade de criar uma credencial de armazenamento no Unity Catalog

29 de setembro de 2023

Agora você pode conceder permissões aos usuários para criar uma credencial de armazenamento em um metastore do Unity Catalog usando o novo CREATE STORAGE CREDENTIAL privilégio. Consulte CREATE STORAGE CREDENTIAL.

Databricks Runtime 14.1 (Beta)

28 de setembro de 2023

O Databricks Runtime 14.1 e o Databricks Runtime 14.1 ML já estão disponíveis como versões Beta.

Ver Databricks Runtime 14.1 (EoS) e Databricks Runtime 14.1 para Machine Learning (EoS).

Serviço de Modelos de GPU otimizado para LLMs em pré-visualização pública

28 de setembro de 2023

O serviço de modelo no Azure Databricks suporta a implementação de modelos PyTorch e TensorFlow usando recursos de computação GPU. Essa funcionalidade está em Pré-visualização Pública em regiões selecionadas e também se aplica à implantação de GPU de modelos registrados com as versões mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow e mlflow.transformers. Consulte Tipos de carga de trabalho de GPU.

Esta pré-visualização também inclui suporte para implementação de GPU otimizada para servir modelos de linguagem grandes. Consulte servidão de modelo de linguagem grande (LLM) otimizado

Impedir que execuções de um trabalho sejam omitidas quando atingires os limites de simultaneidade

setembro 27, 2023 - outubro 2, 2023

Para evitar que as execuções de um trabalho Azure Databricks sejam ignoradas devido a limites de concorrência, agora pode ativar a fila no trabalho. Quando a colocação em fila está ativada, se um limite de simultaneidade for atingido, o trabalho será colocado numa fila até que a capacidade esteja disponível para executar o trabalho. Consulte Habilitar o enfileiramento de execuções de tarefas.

Provedor Databricks Terraform atualizado para a versão 1.27.0

27 de setembro de 2023

Databricks Terraform provider versão 1.27.0 adiciona owner e force_destroy para databricks_metastore_data_access, inclui várias melhorias adicionais e correções de bugs, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.27.0.

CLI do Databricks atualizada para a versão 0.206.0 (Visualização pública)

27 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.206.0. Esta versão permite substituições de destino para clusters de pipeline em Declarative Automation Bundles, melhora a experiência de inicialização dos modelos de pacotes e, entre outros. Para obter detalhes, consulte o changelog para a versão 0.206.0.

Databricks SDK for Go atualizado para a versão 0.21.0 (Beta)

27 de setembro de 2023

O Databricks SDK for Go versão 0.21.0 introduz mais de uma dúzia de alterações de API que causam falhas, adiciona mais de uma dúzia de APIs e mais de uma dúzia de campos. Para obter detalhes, consulte o changelog para a versão 0.21.0.

As tabelas de inferência para pontos de extremidade de serviço de disponibilização de modelos estão em Pré-visualização Pública

26 de setembro de 2023

Habilite tabelas de inferência em seu modelo servindo pontos de extremidade para capturar solicitações de entrada e respostas de saída para esses pontos de extremidade e registre-as como uma tabela Delta do Catálogo Unity. Por sua vez, você pode usar os dados nesta tabela para monitorar, depurar e melhorar modelos de ML. Consulte Tabelas de inferência para monitorar e depurar modelos.

Para se inscrever na Pré-visualização Pública, contacte a sua equipa de contas no Azure Databricks.

Databricks driver ODBC 2.7.5

23 de setembro de 2023

Lançamos a versão 2.7.5 do driver ODBC Databricks (download). Esta versão adiciona os seguintes novos recursos e aprimoramentos:

• Aprimoramento da autenticação do cliente OAuth 2.0 e suporte à descoberta do endpoint OIDC.
• Criptografia do lado do servidor com chaves fornecidas pelo cliente.
• Função Data e Hora.
• Mensagens de erro melhoradas para o Cloud Fetch.
• Atualizações de segurança.

Esta versão também resolve a seguinte regressão na versão 2.7.3:

• A SQLForeignKeys função retorna um resultado vazio se o chamador passar um NULL valor para o catálogo da tabela primária ou da tabela estrangeira.

A versão 2.7.5 agora retorna todas as chaves primárias ou chaves estrangeiras associadas à tabela relacionada se o catálogo da outra tabela estiver definido NULL.

Extensão Databricks para Visual Studio Code atualizada para a versão 1.1.3

21 de setembro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.3 adiciona algumas correções menores. Para obter detalhes, consulte o changelog para a versão 1.1.3.

Executar trabalhos como uma entidade de serviço é GA

21 de setembro de 2023

As funções em entidades de serviço e a configuração do trabalho para executar trabalhos usando a identidade da entidade de serviço agora são GA.

Consulte Funções para gerenciar entidades de serviço e Configurar a execução como usuário para execuções de tarefas.

CLI do Databricks atualizada para a versão 0.205.2 (Visualização pública)

21 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.2. Esta versão contém algumas pequenas atualizações. Para obter detalhes, consulte o changelog para a versão 0.205.2.

CLI do Databricks atualizada para a versão 0.205.1 (Visualização pública)

20 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.1. Esta versão permite sobrescrições de alvo para tarefas de trabalho em Pacotes de Automação Declarativa, entre outros. Para obter detalhes, consulte o changelog para a versão 0.205.1.

Databricks SDK for Go atualizado para a versão 0.20.0 (Beta)

20 de setembro de 2023

O Databricks SDK for Go versão 0.20.0 adiciona mais de uma dúzia de APIs, adiciona meia dúzia de campos, altera alguns campos e métodos e remove algumas APIs. Para obter detalhes, consulte o changelog para a versão 0.20.0.

Databricks SDK para Python atualizado para a versão 0.9.0 (Beta)

20 de setembro de 2023

Databricks SDK para Python versão 0.9.0 altera alguns métodos e campos, adiciona cerca de 10 campos, cerca de 20 classes de dados e introduz alterações e remoções adicionais. Para obter detalhes, consulte o changelog para a versão 0.9.0.

Databricks SDK para Python atualizado para a versão 0.7.1 (Beta)

20 de setembro de 2023

Databricks SDK para Python versão 0.7.1 inclui uma correção menor para melhorar o desempenho do download de ficheiros. Para obter detalhes, consulte o changelog para a versão 0.7.1.

Databricks provedor Terraform atualizado para a versão 1.26.0

20 de setembro de 2023

Databricks Terraform provider versão 1.26.0 adiciona suporte para scripts de inicialização de volumes do Unity Catalog, inclui várias melhorias e correções de erros, e muito mais. Para obter detalhes, consulte o changelog para a versão 1.26.0.

Databricks Connect para Databricks Runtime 14.0

20 de setembro de 2023

O Databricks Connect for Databricks Runtime 14.0 suporta streaming estruturado completo (incluindo foreachBatch) e consultas de longa execução que são reanexadas à consulta após interrupção.

Painéis Lakeview na pré-visualização pública

20 de setembro de 2023

Os painéis do Lakeview permitem compartilhar visualizações e conjuntos de dados usando um modelo de governança de dados simplificado e unificado. Consulte Painéis.

Databricks Connect V2 está em pré-visualização pública para Scala

19 de setembro de 2023

O Databricks Connect para Databricks Runtime 13.3 LTS agora suporta Scala em Pré-visualização Pública, incluindo DataFrames, Delta, Structured Streaming e muito mais.

Para Python, o cancelamento de consultas é agora suportado, e a classe DatabricksSession pode agora ser usada em Azure Databricks cadernos e trabalhos.

Modelo de GPU disponível em Pré-visualização Pública

19 de setembro de 2023

O serviço de modelo no Azure Databricks suporta a implementação de modelos PyTorch e TensorFlow usando recursos de computação GPU. Essa funcionalidade está em [Visualização pública] em regiões selecionadas e também se aplica à implementação de modelos em GPU registados com as variedades mlflow.pyfunc, mlflow.pytorch, mlflow.tensorflow e mlflow.transformers. Consulte Tipos de carga de trabalho de GPU.

Cálculo de funcionalidades sob demanda agora disponível no Catálogo Unity (Pré-visualização pública)

14 de setembro de 2023

Os recursos de aprendizado de máquina agora podem ser computados sob demanda no momento da inferência. A lógica de computação de características, modelos e dados é regida pelo Unity Catalog. Isso permite que os modelos computem recursos usando entradas que só estão disponíveis no momento da inferência, como a localização atual de um usuário. Para obter mais informações, consulte Computação de funcionalidades sob demanda.

Databricks Runtime 14.0 é GA

14 de setembro de 2023

O Databricks Runtime 14.0 e o Databricks Runtime 14.0 ML estão agora disponíveis para o público em geral.

Ver Databricks Runtime 14.0 (EoS) e Databricks Runtime 14.0 para Machine Learning (EoS).

Atualização de notificações por e-mail da conta

14 de setembro de 2023

O Databricks já não envia notificações por email quando os utilizadores são adicionados a uma conta Azure Databricks. Os usuários continuarão a receber notificações por e-mail quando tiverem acesso a um espaço de trabalho.

pt-PT: Provedor de Databricks Terraform atualizado para a versão 1.25.1

13 de setembro de 2023

Databricks Terraform provider versão 1.25.1 foi lançado com pequenas melhorias e correções de bugs. Para obter detalhes, consulte o changelog para a versão 1.25.1.

Databricks SDK for Go atualizado para a versão 0.19.2 (Beta)

13 de setembro de 2023

O Databricks SDK for Go versão 0.19.2 contém uma pequena correção. Para obter detalhes, consulte o changelog para a versão 0.19.2.

CLI do Databricks atualizada para a versão 0.205.0 (Visualização pública)

13 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.205.0. Esta é a primeira versão da Databricks CLI a suportar Pacotes de Automação Declarativa em Prévia Pública. Para obter detalhes, consulte o changelog para a versão 0.205.0.

Local reservado para /Workspace

13 de setembro de 2023

O local /Workspace está agora reservado. Já não se pode definir um diretório chamado /Workspace em relação ao caminho raiz em Azure Databricks.

Pacotes de Automação Declarativa (Pré-visualização Pública)

12 de setembro de 2023

Os Pacotes de Automação Declarativa, agora em Pré-visualização Pública, permitem que dados de ponta a ponta, análises e projetos de ML sejam expressos como uma coleção de ficheiros fonte. Isso simplifica a aplicação das práticas recomendadas de engenharia de dados, como controle do código-fonte, revisão de código, testes e CI/CD.

Provedor Databricks Terraform atualizado para a versão 1.25.0

12 de setembro de 2023

A versão 1.25.0 do provedor Databricks Terraform inclui a adição de permissões para warehouses SQL do Databricks, pequenas correções, atualizações de IS_OWNER documentação e muito mais. Para obter detalhes, consulte o changelog para a versão 1.25.0.

A extensão Databricks para Visual Studio Code atualizada para a versão 1.1.2

12 de setembro de 2023

A extensão Databricks para Visual Studio Code versão 1.1.2 adiciona suporte experimental para %run e # MAGIC nos notebooks do Azure Databricks, corrige problemas de caminho com múltiplas instalações locais da CLI Databricks e outras melhorias. Para obter detalhes, consulte o changelog para a versão 1.1.2.

O Partner Connect suporta Snowplow

12 de setembro de 2023

Agora pode usar o Partner Connect para ligar o seu espaço de trabalho Azure Databricks ao Snowplow. Para obter mais informações, consulte Conectar-se ao Snowplow.

CLI do Databricks atualizada para a versão 0.204.1 (Visualização pública)

11 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.204.1. Para obter detalhes, consulte o changelog para a versão 0.204.1.

Filtrar dados confidenciais com filtros de linha e máscaras de coluna (Pré-visualização Pública)

11 de setembro de 2023

Agora você pode aplicar filtros de linha e máscaras de coluna a tabelas para impedir o acesso a dados confidenciais por determinados usuários. Esses filtros e máscaras são implementados como funções definidas pelo usuário (UDFs) SQL. Consulte os filtros de linha e as máscaras de coluna.

As tabelas do sistema agora incluem o esquema do Marketplace (Visualização pública)

8 de setembro de 2023

As tabelas do sistema agora incluem um marketplace esquema que armazena dados do provedor do Marketplace. Você pode consultar a tabela marketplace.listing_access_events para recuperar as informações do consumidor relativas às ações realizadas nas suas listagens. Para obter mais informações, consulte Referência de tabelas do sistema do Marketplace.

A tabela do sistema de preços já está disponível (Visualização pública)

8 de setembro de 2023

As tabelas do sistema agora incluem uma tabela de preços (system.billing.list_prices) onde você pode monitorar o custo de uma SKU ao longo do tempo. Esses logs podem ajudá-lo a realizar análises de custos e monitorar alterações de preços. Consulte referência da tabela do sistema de preços.

Databricks SDK for Go atualizado para a versão 0.19.1 (Beta)

7 de setembro de 2023

O Databricks SDK for Go versão 0.19.1 continua algumas pequenas atualizações e correções. Para obter detalhes, consulte o changelog para a versão 0.19.1.

Databricks driver ODBC 2.7.3

7 de setembro de 2023

Lançamos a versão 2.7.3 do driver ODBC Databricks (download). Esta versão inclui os seguintes recursos e correções:

• Correções de vulnerabilidades através da atualização de dependências de terceiros.
• SQL_ATTR_MAX_ROWS suporte que permite que um cliente limite o número de linhas a serem buscadas em uma consulta para agilizar o carregamento rápido (como visualização).
• Suporte MacOS atualizado. O driver agora suporta Apple Silicon/M1.
• Suporte à autenticação baseada em navegador OAuth2 para facilitar o logon único (SSO).

CLI do Databricks atualizada para a versão 0.204.0 (Visualização pública)

6 de setembro de 2023

A interface de linha de comando Databricks (Databricks CLI) foi atualizada para a versão 0.204.0. Esta versão inclui o agrupamento de comandos relacionados a permissões, adiciona e altera vários comandos e muito mais. Para obter detalhes, consulte o changelog para a versão 0.204.0.

Data Explorer é agora o Explorador de Catálogos

6 de setembro de 2023

O Data Explorer foi renomeado para Explorador de Catálogo para reconhecer que pode ser usado para trabalhar com todos os objetos securáveis no Unity Catalog, não apenas com objetos de dados. Consulte O que é o Catalog Explorer?.

Databricks SDK for Go atualizado para a versão 0.19.0 (Beta)

4 de setembro de 2023

O Databricks SDK for Go versão 0.19.0 renomeia APIs de permissões, adiciona 8 APIs, adiciona 5 campos, altera e remove alguns campos e altera alguns métodos. Para obter detalhes, consulte o changelog para a versão 0.19.0.

Databricks SDK para Python atualizado para a versão 0.8.0 (Beta)

4 de setembro de 2023

Databricks SDK para Python versão 0.8.0 renomeia APIs de permissões, adiciona meia dúzia de campos, meia dúzia de dataclasses e introduz várias alterações e remoções. Para obter detalhes, consulte o changelog para a versão 0.8.0.

Delegar privilégios de lista de autorização no Catálogo Unity

1 de setembro de 2023

Agora você pode delegar privilégios para gerenciar itens na lista de permissões do Unity Catalog. Consulte bibliotecas de Lista de Permissões e scripts de inicialização em computadores com o modo de acesso padrão (anteriormente modo de acesso compartilhado).

A integração de aplicações GitHub nos Repos é GA

1 de setembro de 2023

A integração das aplicações do GitHub nos Repos é GA. A funcionalidade permite uma gestão de credenciais Git mais simples quando se integra com o GitHub nos Repos.