Databricks Runtime 10.4 LTS (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.4 e o Databricks Runtime 10.4 Photon, alimentado pelo Apache Spark 3.2.1. O Photon está em Visualização Pública. O Databricks lançou esta versão em março de 2022.

Novos recursos e aprimoramentos

• Conversor de tabela do Apache Iceberg para Delta (Visualização Pública)
• Reversões de compactação automática agora estão habilitadas por padrão
• Mesclagem baixa de ordem aleatória agora está habilitada por padrão
• Marcas de ordem de inserção agora são preservadas para UPDATE e DELETEs
• HikariCP agora é o pool de conexões padrão metastore do Hive
• Azure Synapse conector agora permite que o número máximo de linhas de rejeição permitidas seja definido
• O ponto de verificação de estado assíncrono agora conta com disponibilidade geral
• Os padrões de parâmetro agora podem ser especificados para funções SQL definidas pelo usuário
• Novas funções SQL do Spark
• Novo diretório de trabalho para clusters de alta simultaneidade
• O suporte a colunas de identidade em tabelas Delta agora conta com disponibilidade geral

Conversor de tabelas do Apache Iceberg para o Delta (versão prévia pública)

Converter em Delta agora dá suporte à conversão de uma tabela do Apache Iceberg em uma tabela do Delta no local. Ele faz isso usando metadados nativos do Iceberg e manifestos de arquivo. Confira Converter para Delta Lake.

Reversões de compactação automática agora estão habilitadas por padrão

Esta versão melhora o comportamento das gravações do Delta Lake que são confirmadas quando há transações simultâneas de compactação automática. Antes desta versão, essas gravações costumavam ser encerradas, devido a modificações simultâneas em uma tabela. As gravações agora serão bem sucedidas mesmo se houver transações de compactação automática simultâneas.

Mesclagem baixa de ordem aleatória agora está habilitada por padrão

O comando MERGE INTO agora sempre usa a nova implementação de ordem aleatória. Esse comportamento aprimora significativamente o desempenho do comando MERGE INTO para a maioria das cargas de trabalho. O parâmetro de configuração que foi usado anteriormente para habilitar esse recurso foi removido. Consulte A mesclagem aleatória no Azure Databricks.

Marcas de ordem de inserção agora são preservadas para UPDATE e DELETE

Os comandos UPDATE e DELETE agora preservam as informações de clustering existentes (incluindo a ordenação Z) para arquivos que são atualizados ou excluídos. Esse comportamento é uma abordagem de melhor esforço, e essa abordagem não se aplica a casos em que os arquivos são tão pequenos que são combinados durante a atualização ou exclusão.

HikariCP agora é o pool de conexões padrão metastore do Hive

O HikariCP traz muitas melhorias de estabilidade para o acesso ao metastore do Hive, mantendo menos conexões em comparação com a implementação anterior do pool de conexões do BoneCP. O HikariCP é habilitado por padrão em todo cluster do Databricks Runtime que usa o metastore do Hive do Databricks (por exemplo, quando spark.sql.hive.metastore.jars não está definido). Você também pode alternar explicitamente para outras implementações de pool de conexões, por exemplo, BoneCP, definindo spark.databricks.hive.metastore.client.pool.type.

Azure Synapse conector agora permite que o número máximo de linhas de rejeição permitidas seja definido

O conector Azure Synapse agora dá suporte a uma opção maxErrors DataFrame. Essa atualização permite configurar o número máximo de linhas rejeitadas permitidas durante leituras e gravações antes que a operação de carregamento seja cancelada. Todas as linhas rejeitadas são ignoradas. Por exemplo, se dois registros de dez estão com erros, apenas oito registros são processados.

Essa opção mapeia diretamente para a opção REJECT_VALUE para a instrução CREATE EXTERNAL TABLE no PolyBase e para a opção MAXERRORS para o comando COPY do conector de Azure Synapse.

Por padrão, o valor maxErrors é definido como 0: todos os registros devem ser válidos.

O ponto de verificação de estado assíncrono agora conta com disponibilidade geral

Você pode habilitar o ponto de verificação de estado assíncrono em consultas de streaming com estado com grandes atualizações de estado. Isso pode reduzir a latência de microlote de ponta a ponta. Esse recurso agora está em disponibilidade geral. Consulte Ponto de verificação de estado assíncrono para consultas com estado.

Os padrões de parâmetro agora podem ser especificados para funções SQL definidas pelo usuário

Ao criar uma UDF (função definida pelo usuário do SQL) do SQL, agora você pode especificar expressões padrão para os parâmetros da UDF do SQL. Em seguida, é possível chamar a UDF SQL sem fornecer argumentos para esses parâmetros e o Databricks preencherá os valores padrão deles. Consulte CREATE FUNCTION (SQL e Python).

Novas funções SQL do Spark

As seguintes funções SQL do Spark agora estão disponíveis com esta versão:

• try_multiply: retorna multiplier multiplicado por multiplicand ou NULL no estouro.
• try_subtract: Retorna a subtração de expr2 a partir de expr1, ou NULL em caso de estouro.

Novo diretório de trabalho para clusters de alta concorrência

Em clusters de alta simultaneidade com controle de acesso a tabelas ou passagem de credenciais habilitada, o diretório de trabalho atual dos notebooks agora é a casa do usuário. Anteriormente, o diretório de trabalho era /databricks/driver.

O suporte a colunas de identidade em tabelas Delta agora conta com disponibilidade geral

O Delta Lake agora dá suporte a colunas de identidade. Quando você escreve em uma tabela Delta que define uma coluna de identidade e não fornece valores para ela, o Delta agora atribui automaticamente um valor exclusivo e estatisticamente crescente ou decrescente. Consulte CREATE TABLE [USING].

Atualizações da biblioteca

• Bibliotecas de Python atualizadas:
  • filelock de 3.4.2 para 3.6.0
• Bibliotecas do R atualizadas:
  • brew de 1.0-6 para 1.0-7
  • broom de 0.7.11 para 0.7.12
  • CLI de 3.1.0 para 3.2.0
  • clipr de 0.7.1 para 0.8.0
  • colorspace de 2.0-2 para 2.0-3
  • crayon de 1.4.2 para 1.5.0
  • dplyr de 1.0.7 para 1.0.8
  • dtplyr de 1.2.0 para 1.2.1
  • evaluate de 0.14 para 0.15
  • foreach de 1.5.1 para 1.5.2
  • future de 1.23.0 para 1.24.0
  • generics de 0.1.1 para 0.1.2
  • glue de 1.6.0 a 1.6.1
  • gower de 0.2.2 para 1.0.0
  • iterators de 1.0.13 para 1.0.14
  • jsonlite de 1.7.3 para 1.8.0
  • magrittr da 2.0.1 ao 2.0.2
  • mgcv de 1.8-38 para 1.8-39
  • pillar de 1.6.4 para 1.7.0
  • randomForest da versão 4.6-14 para a versão 4.7-1
  • readr de 2.1.1 para 2.1.2
  • recipes de 0.1.17 para 0.2.0
  • rlang de 0.4.12 para 1.0.1
  • rpart de 4.1-15 para 4.1.16
  • RSQLite de 2.2.9 para 2.2.10
  • sparklyr de 1.7.4 para 1.7.5
  • testthat de 3.1.1 para 3.1.2
  • tidyr de 1.1.4 para 1.2.0
  • tidyselect da 1.1.1 para 1.1.2
  • tinytex de 0.36 para 0.37
  • YAML de 2.2.1 para 2.3.5
• Bibliotecas de Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.3.0 para 0.4.0

Apache Spark

O Databricks Runtime 10.4 LTS inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.3, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• [SPARK-38322] [SQL] Dá suporte ao estágio de consulta mostra estatísticas de runtime no modo de explicação formatada
• [SPARK-38162] [SQL] Otimiza um plano de linha em otimizador normal e AQE
• [SPARK-38229] [SQL] Não deveria verificar temp/external/ifNotExists com visitReplaceTable quando o analisador está em uso.
• [SPARK-34183] [SS] DataSource V2: distribuição e ordenação necessárias na execução do micro batch
• [SPARK-37932] [SQL] Aguarda para resolver atributos ausentes antes de aplicar DeduplicateRelations
• [SPARK-37904] [SQL] Melhora RebalancePartitions nas regras do otimizador
• [SPARK-38236] [SQL][3.2][3.1] Verificar se o local da tabela é absoluto através de “new Path(locationUri).isAbsolute” ao criar/alterar tabela
• [SPARK-38035] [SQL] Adiciona testes no Docker para o dialeto JDBC embutido
• [SPARK-38042] [SQL] Verificar se ScalaReflection.dataTypeFor funciona em tipos de matriz com alias
• [SPARK-38273] [SQL] Os decodeUnsafeRowsiteradores devem fechar fluxos de entrada subjacentes
• [SPARK-38311] [SQL] Corrige DynamicPartitionPruning/BucketedReadSuite/ExpressionInfoSuite no modo ANSI
• [SPARK-38305] [CORE] Verifica explicitamente se a origem existe em unpack() antes de chamar métodos FileUtil
• [SPARK-38275] [SS] Inclua o uso de memória do writeBatch como o uso total de memória do repositório de estado RocksDB
• [SPARK-38132] [SQL] Remove a regra NotPropagation
• [SPARK-38286] [SQL] MaxRows e maxRowsPerPartition do Union podem causar overflow
• [SPARK-38306] [SQL] Corrige ExplainSuite, StatisticsCollectionSuite e StringFunctionsSuite no modo ANSI
• [SPARK-38281] [SQL][testes] Corrige AnalysisSuite no modo ANSI
• [SPARK-38307] [SQL][testes] Corrigir ExpressionTypeCheckingSuite e CollectionExpressionsSuite no modo ANSI
• [SPARK-38300] [SQL] Usa ByteStreams.toByteArray para simplificar fileToStringe resourceToBytes em catalyst.util
• [SPARK-38304] [SQL] Elt() deverá retornar nulo se o índice for nulo no modo ANSI
• [SPARK-38271] PoissonSampler pode ter mais linhas do que MaxRows
• [SPARK-38297] [PYTHON] Converter explicitamente o valor de retorno em DataFrame.to_numpy no POS
• [SPARK-38295] [SQL][testes] Corrige ArithmeticExpressionSuite no modo ANSI
• [SPARK-38290] [SQL] Corrige JsonSuite e ParquetIOSuite no modo ANSI
• [SPARK-38299] [SQL] Limpa o uso preterido de StringBuilder.newBuilder
• [SPARK-38060] [SQL] Respeita allowNonNumericNumbers ao analisar valores de NaN e Infinito entre aspas no leitor JSON
• [SPARK-38276] [SQL] Adiciona planos TPCDS aprovados no modo ANSI
• [SPARK-38206] [SS] Ignora a nulidade ao comparar o tipo de dados de chaves de junção na junção do fluxo de fluxo
• [SPARK-37290] [SQL] - Tempo de planejamento exponencial no caso de função não determinística
• [SPARK-38232] [SQL] Explica que a formatação não coleta subconsultas no estágio de consulta no AQE
• [SPARK-38283] [SQL] Testa análise de datetime inválida no modo ANSI
• [SPARK-38140] [SQL] Estatísticas de coluna desc (mínimo, máximo) para tipo de carimbo de data/hora não é consistente com os valores devido à diferença de fuso horário
• [SPARK-38227] [SQL][ss] Aplica nulidade strict da coluna aninhada na janela de tempo/janela de sessão
• [SPARK-38221] [SQL] Itera precipitadamente sobre groupingExpressions ao mover expressões de grupo complexas para fora de um nó de agregação
• [SPARK-38216] [SQL] Falha no início se todas as colunas são particionadas ao criar uma tabela do Hive
• [SPARK-38214] [SS] Não é necessário filtrar janelas quando windowDuration for múltiplo de slideDuration
• [SPARK-38182] [SQL] Corrige NoSuchElementException se o filtro enviado não contém nenhuma referência
• [SPARK-38159] [SQL] Adiciona um novo FileSourceMetadataAttribute para os metadados de arquivo oculto
• [SPARK-38123] [SQL] Uso unificado de DataType como targetType de QueryExecutionErrors#castingCauseOverflowError
• [SPARK-38118] [SQL] Func(tipo de dados errado) na HAVING cláusula deve gerar erro de incompatibilidade de dados
• [SPARK-35173] [SQL][python] Adicionar várias colunas adicionando suporte
• [SPARK-38177] [SQL] Corrigir transformações de expressões incorretas no otimizador
• [SPARK-38228] [SQL] A atribuição de armazenamento herdado não deve falhar em caso de erro no modo ANSI
• [SPARK-38173] [SQL] A coluna entre aspas não pode ser reconhecida corretamente quando quotedRegexColumnNa…
• [SPARK-38130] [SQL] Remove array_sort de entradas solicitáveis
• [SPARK-38199] [SQL] Exclui o dataType sem uso especificado na definição de IntervalColumnAccessor
• [SPARK-38203] [SQL] Corrige SQLInsertTestSuite e SchemaPruningSuite no modo ANSI
• [SPARK-38163] [SQL] Preserva a classe de erro de SparkThrowable durante a construção do construtor de funções
• [SPARK-38157] [SQL] Define explicitamente ANSI como false em timestampNTZ/timestamp.sql e SQLQueryTestSuite para corresponder aos bons resultados esperados
• [SPARK-38069] [SQL][ss] Melhorar o cálculo da janela de tempo
• [SPARK-38164] [SQL] Novas funções SQL: try_subtract e try_multiply
• [SPARK-38176] [SQL] Modo ANSI: permite conversão implícita da Cadeia de Caracteres em outros tipos simples
• [SPARK-37498] [PYTHON] Adiciona eventualmente para test_reuse_worker_of_parallelize_range
• [SPARK-38198] [SQL][3.2] Corrige QueryExecution.debug#toFile, usa o passado no maxFields quando explainMode for CodegenMode
• [SPARK-38131] [SQL] Usa classes de erro somente em exceções voltadas para o usuário
• [SPARK-37652] [SQL] Adiciona teste para otimizar a junção distorcida por meio da união
• [SPARK-37585] [SQL] Atualiza InputMetric em DataSourceRDD com TaskCompletionListener
• [SPARK-38113] [SQL] Usa classes de erro nos erros de execução da dinâmica
• [SPARK-38178] [SS] Corrige a lógica para medir o uso de memória do RocksDB
• [SPARK-37969] [SQL] O HiveFileFormat deve verificar o nome do campo
• [SPARK-37652] Reverte “[SQL] Adiciona teste para otimizar a junção distorcida por meio da união”
• [SPARK-38124] [SQL][ss] Introduz StatefulOpClusteredDistribution e aplica à junção stream-stream
• [SPARK-38030] [SQL] A canonicalização não deve remover a nulidade de attributeReference dataType
• [SPARK-37907] [SQL] A InvokeLike dá suporte a ConstantFolding
• [SPARK-37891] [CORE] Adiciona a verificação scalastyle para desabilitar scala.concurrent.ExecutionContext.Implicits.global
• [SPARK-38150] [SQL] Atualiza comentário de RelationConversions
• [SPARK-37943] [SQL] Usa classes de erro nos erros de compilação do agrupamento
• [SPARK-37652] [SQL] Adiciona teste para otimizar a junção distorcida por meio da união
• [SPARK-38056] [IU da Web][3.2] Corrige problema de streaming estruturado que não funciona no servidor de histórico ao usar o LevelDB
• [SPARK-38144] [CORE] Remover configuração não utilizada spark.storage.safetyFraction
• [SPARK-38120] [SQL] Corrige HiveExternalCatalog.listPartitions quando o nome da coluna de partição for maiúscula e ponto no valor da partição
• [SPARK-38122] [Docs] Atualiza a chave do aplicativo do DocSearch
• [SPARK-37479] [SQL] Migra DROP NAMESPACE para usar o comando V2 por padrão
• [SPARK-35703] [SQL] Relaxa a restrição para junção de bucket e remover HashClusteredDistribution
• [SPARK-37983] [SQL] Recua métricas de tempo de compilação agregada para classificar agregação
• [SPARK-37915] [SQL] Combina uniões se houver um projeto entre elas
• [SPARK-38105] [SQL] Usa classes de erro nos erros de análise de junções
• [SPARK-38073] [PYTHON] Atualiza função atexit para evitar problemas com associação tardia
• [SPARK-37941] [SQL] Usa classes de erro nos erros de compilação do conversão
• [SPARK-37937] [SQL] Usa classes de erro nos erros de análise de junção lateral
• [SPARK-38100] [SQL] Remove método privado não utilizado no Decimal
• [SPARK-37987] [SS] Corrige teste estranho StreamingAggregationSuite.alterando o esquema de estado ao reiniciar a consulta
• [SPARK-38003] [SQL] A regra LookupFunctions só deve procurar funções do registro de funções escalares
• [SPARK-38075] [SQL] Correção de hasNext no iterador de saída do processo de HiveScriptTransformationExec
• [SPARK-37965][SQL] Remove o nome do campo de verificação ao ler/escrever dados existentes em Orc
• [SPARK-37922] [SQL] Combina com uma conversão se for possível fazer um upcast de duas conversões com segurança (para dbr-branch-10.x)
• [SPARK-37675] [SPARK-37793] Impede a substituição de arquivos mesclados em ordem aleatória por push assim que o embaralhamento é finalizado
• [SPARK-38011] [SQL] Remove configuração duplicada e inútil em ParquetFileFormat
• [SPARK-37929] [SQL] Dá suporte ao modo em cascata para API dropNamespace
• [SPARK-37931] [SQL] Cota o nome da coluna, se necessário
• [SPARK-37990] [SQL] Dá suporte a TimestampNTZ em RowToColumnConverter
• [SPARK-38001] [SQL] Substitui as classes de erro relacionadas a recursos sem suporte por UNSUPPORTED_FEATURE
• [SPARK-37839] [SQL] O DS V2 suporta repasse de agregação parcial AVG
• [SPARK-37878] [SQL] Migrar SHOW CREATE TABLE para usar o comando v2 por padrão
• [SPARK-37731] [SQL] Pesquisa de função Refatorar e Limpeza no analisador
• [SPARK-37979] [SQL] Alterna para classes de erro mais genéricas em funções AES
• [SPARK-37867] [SQL] Compila funções de agregação do dialeto JDBC incorporado
• [SPARK-38028] [SQL] Expõe vetor de seta de ArrowColumnVector
• [SPARK-30062] [SQL] Adiciona a instrução IMMEDIATE à implementação de truncar dialeto DB2
• [SPARK-36649] [SQL] Dá suporte a Trigger.AvailableNow na fonte de dados do Kafka
• [SPARK-38018] [SQL] Corrige ColumnVectorUtils.populate para lidar com CalendarIntervalType corretamente
• [SPARK-38023] [CORE] ExecutorMonitor.onExecutorRemoved deve identificar ExecutorDecommission como concluído
• [SPARK-38019] [CORE] Torna ExecutorMonitor.timedOutExecutors determinístico
• [SPARK-37957] [SQL] Passe corretamente o sinalizador de determinismo para funções escalares da V2.
• [SPARK-37985] [SQL] Corrige teste não confiável para SPARK-37578
• [SPARK-37986] [SQL] Dá suporte a TimestampNTZ na ordenação por base
• [SPARK-37967] [SQL] Dá suporte do Literal.create ao ObjectType
• [SPARK-37827] [SQL] Coloca algumas propriedades de tabela em V1Table.propertie para se adaptar ao comando V2
• [SPARK-37963] [SQL] Precisa atualizar o URI da Partição depois de renomear a tabela em InMemoryCatalog
• [SPARK-35442] [SQL] Dá suporte para propagar relação vazia por meio de agregação/união
• [SPARK-37933] [SQL] Altera o método de travessia das regras de push down V2ScanRelationPushDown
• [SPARK-37917] [SQL] Limita o push down 1 para o lado direito da semi/anti junção à esquerda se a condição de junção estiver vazia
• [SPARK-37959] [ML] Corrige o UT da norma de verificação em KMeans e BiKMeans
• [SPARK-37906] [SQL] spark-sql não deve passar o último comentário para o back-end
• [SPARK-37627] [SQL] Adiciona coluna classificação no BucketTransform

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 10.4 LTS.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.4 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.8.10
• R: 4.1.2
• Delta Lake: 1.1.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN da Microsoft em 2022-02-24. O instantâneo não está mais disponível.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)