Julho de 2022

Esses recursos e melhorias na plataforma Azure Databricks foram lançados em julho de 2022.

O suporte para o Databricks Runtime 11.1 e 11.1 ML foi encerrado

27 de julho de 2022

O Databricks Runtime 11.1 e o Databricks Runtime 11.1 ML estão em disponibilidade geral.

Consulte Databricks Runtime 11.1 (EoS) e Databricks Runtime 11.1 para Aprendizado de Máquina (EoS).

Photon é GA

27 de julho de 2022

O Photon agora está disponível em geral, começando com o Databricks Runtime 11.1.

Photon é o mecanismo de consulta vetorizado nativo em Azure Databricks, escrito para ser diretamente compatível com APIs do Apache Spark para que ele funcione com seu código existente. Photon foi desenvolvido em C++ para aproveitar o hardware moderno e usa as técnicas mais recentes no processamento de consultas vetorizadas para capitalizar o paralelismo de dados e de nível de instrução em CPUs, aprimorando o desempenho em dados reais e aplicativos—tudo de forma nativa em seu data lake.

O Photon integra um runtime de alto desempenho que executa suas atuais chamadas de SQL e de DataFrame API mais rapidamente e reduz o custo total por carga de trabalho. O Photon é usado por padrão em SQL warehouses do Databricks.

Veja o Photon é GA nas notas de versão do Databricks Runtime 11.1.

Notificação após a conclusão do notebook

27 de julho a 15 de agosto de 2022

Se você navegar para longe de um notebook enquanto ele estiver em execução, uma notificação agora será exibida quando ela for concluída. Você pode habilitar ou desabilitar essas notificações no navegador.

Aumento do limite para o número de trabalhos em seus workspaces Azure Databricks

19 a 22 de julho de 2022

Agora você pode criar até 10.000 jobs em um workspace do Azure Databricks ao habilitar a opção Increased number of jobs no console de administração do Azure Databricks. Esse recurso também habilita uma lista de Jobs paginada quando você ver Jobs na interface do usuário de Jobs, o que reduz o tempo necessário para carregar a visualização da lista de Jobs.

O Databricks recomenda usar a API de Trabalhos 2.1 se você habilitar o limite aumentado de trabalhos. O uso da API jobs 2.0 resulta em desempenho degradado ao retornar um grande número de trabalhos.

Agora, logs de auditoria detalhados registram quando as consultas do Databricks SQL são executadas.

14 de julho de 2022

Agora você pode configurar logs de auditoria para registrar quando as consultas do Databricks SQL são executadas. Para fazer isso, use a configuração logs de auditoria detalhados do workspace. Confira Habilitar logs de auditoria detalhados. Há um registro de log de auditoria para enviar uma consulta e outro registro para conclusão de consulta (incluindo cancelamento).

Se os logs de auditoria verbosos já estiverem habilitados para seu workspace registrar os comandos do notebook, os logs de auditoria verbosos agora incluem automaticamente consultas do Databricks SQL para o workspace.

Driver JDBC do Databricks 2.6.27

11 de julho de 2022

Lançamos a versão 2.6.27 do driver JDBC para Databricks (baixar). Esta versão atualiza as bibliotecas de terceiros, como o Apache Arrow 7.0.0. Esta versão também inclui atualizações para o arquivo de licença e o guia de instalação de configuração.

Além disso, essa versão resolve os seguintes problemas:

• Em alguns casos, quando uma conexão HTTP estiver ativa por um longo período, o conector retornará um erro NoHttpResponseException.
• Em alguns casos, classes não sombreadas Log4j no arquivo JAR do conector entram em conflito com arquivos implantados no ambiente do usuário final. As classes sem destaque foram removidas do arquivo JAR do conector.
• Ao usar uma classe DataSource, os nomes de subprotocolo estão incorretos.

Driver ODBC do Databricks 2.6.25

11 de julho de 2022

Lançamos a versão 2.6.25 do driver ODBC do Databricks (baixar). Esta versão adiciona suporte para configurar o conector e mitigar as operações de download de arquivos de resultados atrasadas.

Databricks Runtime 11.1 (Beta)

8 de julho de 2022

O Databricks Runtime 11.1, o Photon 11.1 e o ML 11.1 já estão disponíveis como versões Beta.

Confira as notas de versão completas em Databricks Runtime 11.1 (EoS) e Databricks Runtime 11.1 para Machine Learning (EoS).

Visualizações aprimoradas do notebook

5 a 11 de julho de 2022: versão 3.75

O suporte interno para gráficos e visualizações em notebooks agora dá suporte a vários gráficos e perfis de dados. Quando você executa uma célula SQL em um notebook ou usa a função display em um DataFrame, o notebook mostra resultados com guias, semelhantes aos resultados exibidos no Databricks SQL. Agora você pode criar as mesmas visualizações avançadas em um notebook que você pode criar no Databricks SQL. Para obter detalhes, consulte Visualizações nos notebooks do Databricks e no editor do SQL.