Agosto de 2020

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em agosto de 2020.

A API de gerenciamento de tokens é GA e os administradores podem usar o Admin Console para conceder e revogar o acesso do usuário aos tokens

26 de agosto a 1 de setembro de 2020: Versão 3.27

O gerenciamento de tokens agora está disponível para o público em geral. Os administradores do Azure Databricks podem usar a API de Gerenciamento de Tokens e o Admin Console para gerenciar os tokens de acesso pessoal do Azure Databricks de seus usuários. Como administrador, você pode:

• Monitore e revogue os tokens de acesso pessoais dos usuários.
• Controle o tempo de vida dos tokens futuros em seu espaço de trabalho.
• Controle quais usuários podem criar e usar tokens por meio da API de permissões ou no Admin Console.

Na transição de Public Preview para GA, o parâmetro created_by Token Management API foi alterado para created_by_id, e um novo parâmetro created_by_username foi adicionado.

Para obter mais informações, consulte Monitorizar e revogar tokens de acesso pessoal.

Aumento dos limites de tamanho das mensagens para aplicações Shiny

26 de agosto a 1 de setembro de 2020: Versão 3.27

O tamanho máximo do aplicativo para aplicativos Shiny foi aumentado de 10 MB para 20 MB. Se o tamanho total da sua aplicação exceder este limite, reveja as recomendações nas Perguntas frequentes do Shiny.

Instruções melhoradas para a configuração de um cluster no modo local

26 de agosto a 1 de setembro de 2020: Versão 3.27

Na interface do usuário do cluster:

• Se você criar um cluster com 0 trabalhadores, uma dica de ferramenta será exibida recomendando que você use o modo local e mostrando a definição de configuração associada (spark.master local[*]).
• Não é mais possível definir spark.master local[*] para um cluster, a menos que o cluster tenha 0 trabalhadores.

Ver versão do notebook associado a uma execução

26 de agosto a 1 de setembro de 2020: Versão 3.27

Na barra lateral Experimentos, agora você pode exibir a versão de um bloco de anotações associada a uma execução. Para obter detalhes, consulte Ver experiência de bloco de anotações.

Databricks Runtime 7.2 Disponibilidade Geral

20 de agosto de 2020

O Databricks Runtime 7.2 traz muitos recursos e melhorias adicionais em relação ao Databricks Runtime 7.1, incluindo:

• Auto Loader está geralmente disponível: Auto Loader é um método eficiente para ingerir incrementalmente um grande número de arquivos no Delta Lake. Agora é GA e adiciona os seguintes recursos:

  • Opção de modo de listagem de diretório: o Auto Loader adiciona um novo modo de listagem de diretórios, além do modo de notificação de arquivo existente, para determinar quando há novos arquivos.
  • API de gerenciamento de recursos na nuvem: agora você pode usar nossa API Scala para gerenciar recursos de nuvem criados pelo Auto Loader. Você pode listar serviços de notificação e desmontar serviços de notificação específicos usando essa API.
  • Opção de limitação de taxa: agora você pode usar a opção cloudFiles.maxBytesPerTrigger para limitar a quantidade de dados processados em cada microlote.
  • Validação de opções: O Auto Loader agora valida as opções fornecidas. validation falhará. Para ignorar a validação de opções, defina cloudFiles.validateOptions como false.

• Copie eficientemente uma tabela Delta com clone.

• Melhorias:

  • O conector Snowflake foi atualizado para a versão 2.8.1, que inclui suporte ao Spark 3.0.
  • Melhorias na passagem de credenciais
  • Melhorias no TensorBoard
  • Bibliotecas Python e R atualizadas

Databricks Runtime 7.2 ML GA

20 de agosto de 2020

O Databricks Runtime 7.2 for Machine Learning é construído sobre o Databricks Runtime 7.2 e traz Python e bibliotecas de sistema novas e aprimoradas.

Databricks Runtime 7.2 Genómica GA

20 de agosto de 2020

O Databricks Runtime 7.2 for Genomics é construído sobre o Databricks Runtime 7.2 e acelera significativamente a conversão de ndarrays literais numpy 1D e 2D do tipo float em arrays Java. A documentação do estudo de associação genômica Glow reflete o uso.

API de Permissões (Pré-visualização Pública)

18 de agosto de 2020

A Databricks tem o prazer de anunciar a visualização pública da API de Permissões, que permite gerenciar permissões para:

• Símbolos
• Agrupamentos
• Pools
• Tarefas
• Notebooks
• Pastas (diretórios)
• Modelos MLflow registados

Para obter mais informações, consulte API de permissões.

Databricks Connect 7.1 (disponibilidade geral)

12 de agosto de 2020

O Databricks Connect agora suporta o Databricks Runtime 7.1.

No Databricks Runtime 7.1, o Databricks recomenda que você sempre use a versão mais recente do Databricks Connect.

Ordem de instalação repetível para bibliotecas de clusters

12 a 25 de agosto de 2020: Versão 3.26

Em um cluster que executa o Databricks Runtime 7.2 ou superior, o Azure Databricks agora processa todas as bibliotecas de cluster na ordem em que foram instaladas.

Criar um modelo a partir da página de modelos registados do MLflow (Pré-visualização Pública)

12 a 25 de agosto de 2020: Versão 3.26

Agora você pode criar um novo modelo na página de modelos registrados MLflow. Para obter detalhes, consulte Criar um novo modelo registrado e atribuir um modelo registrado a ele.

O Databricks Container Services suporta imagens da GPU

12 a 25 de agosto de 2020: Versão 3.26

Agora você pode usar o Databricks Container Services em clusters com GPUs para criar ambientes portáteis de aprendizado profundo com bibliotecas personalizadas.

Para obter detalhes, consulte Databricks Container Services on GPU compute.