Tempo de execução do Databricks 10.5 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 10.5, alimentado pelo Apache Spark 3.2.1. A Databricks lançou esta versão em maio de 2022.

Novos recursos e melhorias

• SQL: Novas funções to_number e try_to_number
• SQL: Nova função try_sum
• SQL: Atualização para as funções ceil, ceiling, e floor
• SQL: Novas regr_avgx e regr_avgy funções agregadas
• SQL: Atualizar as funções contains, startswith, e endswith
• SQL: Nova função array_size
• Unity Catalog: saída SQL LIST remove is_directory coluna e adiciona trailing / para caminhos de diretório (Visualização pública)
• Auto Loader: nova função SQL CLOUD_FILES_STATE
• Auto Loader: suporte de notificação de ficheiro está agora em disponibilidade geral
• Delta Lake: nova maxRecordsPerFile opção para o máximo de registros gravados em um único arquivo
• Descontinuação do Koalas
• Nova _metadata coluna para todos os formatos de ficheiro
• Teste seu pipeline com o Databricks Runtime 10.5

SQL: Novas funções to_number e try_to_number

A função to_number e a try_to_number permitem a conversão de representações de caracteres de números em vários formatos para DECIMAL.

SQL: Nova função try_sum

Ao contrário de sum, a função de agregação try_sum retorna NULL em vez de um erro quando ocorre um overflow.

SQL: Atualização para funções ceil, ceiling e floor

A ceil função, ceiling função e floor função agora suportam um segundo argumento opcional para especificar uma escala de destino.

SQL: Novas funções agregadas regr_avgx e regr_avgy

A nova regr_avgx função agregada e regr_avgy a função agregada suportam regressões lineares.

SQL: Atualizar para as funções contains, startswith e endswith

A contains função, startswith função, e endswith função agora suportam tipos de dados binários como entrada, além de strings.

SQL: Nova função array_size

A nova array_size função calcula o tamanho de uma matriz.

Unity Catalog: saída SQL LIST remove a coluna is_directory e adiciona / ao final para caminhos de diretório (Visualização pública)

A saída da instrução SQL LIST para listar caminhos governados por Unity Catalog foi alterada. A is_directory coluna não é mais exibida. Em vez disso, os caminhos que representam diretórios agora terminam com uma barra inclinada final (/) para as colunas path e name. Esta alteração é para compatibilidade com o resultado do comando dbutils.fs.ls.

Auto Loader: nova função SQL CLOUD_FILES_STATE

Você pode usar a nova CLOUD_FILES_STATE função para consultar o estado interno de um fluxo do Auto Loader, consulte Consultando arquivos descobertos pelo Auto Loader.

Auto Loader: suporte de notificação de arquivo agora está em Disponibilidade Geral

O suporte de notificação de ficheiros para O que é o Auto Loader? no Google Cloud está agora disponível para o público em geral.

Delta Lake: nova maxRecordsPerFile opção para o máximo de registros gravados em um único arquivo

Quando você usa as APIs DataFrame para gravar em uma tabela Delta, você pode usar a maxRecordsPerFile opção para especificar o número máximo de registros para gravar em um único arquivo. Especificar um valor zero ou um valor negativo não representa limite. Ver tamanho do ficheiro de dados Control.

Descontinuação dos coalas

Koalas agora está obsoleto. O Koalas fornece APIs de pandas sobre o Apache Spark. Koalas foi contribuído pela comunidade e está disponível como API pandas no Spark a partir do Apache Spark 3.2. O Koalas continua a ser pré-instalado para o Databricks Runtime 10.5, mas o Koalas não será mais pré-instalado a partir da próxima versão do Databricks Runtime.

Para saber mais sobre a API pandas no Spark, consulte:

• API Pandas no Spark na documentação do Azure Databricks
• API Pandas no Spark na documentação do Apache Spark
• Migrando da API do Koalas para a API do pandas no Spark na documentação do Apache Spark

Nova _metadata coluna para todos os formatos de ficheiro

Você pode obter informações de metadados para arquivos de entrada com a _metadata coluna. A _metadata coluna está oculta. Esta coluna está disponível para todos os formatos de arquivo de entrada. Para incluir a _metadata coluna em um retornado DataFrame, você deve fazer referência explícita a essa coluna em sua consulta. Consulte Coluna de metadados do arquivo.

Teste seu pipeline com o Databricks Runtime 10.5

O Databricks Runtime 10.5 agora é a versão suportada preview para Lakeflow Spark Declarative Pipelines. Para testar o seu pipeline com o Databricks Runtime 10.5, defina a definição channel como preview nas definições do pipeline.

Correções de erros

• Corrigida a exibição dos numCopiedRows resultados da métrica para operações de atualização em tabelas Delta que têm a captura de dados de alteração (CDC) habilitada.

Atualizações da biblioteca

• Bibliotecas Python atualizadas:
  • plotly de 5.5.0 a 5.6.0
• Bibliotecas R atualizadas:
  • base de 4.1.2 a 4.1.3
  • Intervalo de 6.0-90 a 6.0-91
  • agrupamento de 2.1.2 a 2.1.3
  • marca comum de 1.7 a 1.8.0
  • compilador de 4.1.2 a 4.1.3
  • crayon da versão 1.5.0 para 1.5.1
  • conjuntos de dados de 4.1.2 a 4.1.3
  • desc de 1.4.0 a 1.4.1
  • fansi de 1.0.2 a 1.0.3
  • glue de 1.6.1 para 1.6.2
  • gráficos de 4.1.2 a 4.1.3
  • grDevices de 4.1.2 a 4.1.3
  • grelha de 4.1.2 a 4.1.3
  • knitr de 1,37 a 1,38
  • MASS de 7.3-55 a 7.3-56
  • Matriz de 1.4-0 a 1.4-1
  • Métodos de 4.1.2 a 4.1.3
  • mgcv de 1.8-39 a 1.8-40
  • nlme de 3.1-155 a 3.1-157
  • openssl de 1.4.6 para 2.0.0
  • paralelo de 4.1.2 a 4.1.3
  • plyr de 1.8.6 para 1.8.7
  • processx de 3.5.2 a 3.5.3
  • r2d3 de 0.2.5 a 0.2.6
  • Rcpp de 1.0.8 a 1.0.8.3
  • RLANG de 1.0.1 a 1.0.2
  • rmarkdown de 2.11 para 2.13
  • RSQLite de 2.2.10 a 2.2.11
  • sass da versão 0.4.0 para a versão 0.4.1
  • splines de 4.1.2 a 4.1.3
  • Estatísticas de 4.1.2 a 4.1.3
  • stats4 de 4.1.2 a 4.1.3
  • tcltk de 4.1.2 a 4.1.3
  • Ferramentas de 4.1.2 a 4.1.3
  • utils de 4.1.2 a 4.1.3
  • uuid de 1.0-3 a 1.0-4
  • Waldo de 0.3.1 a 0.4.0
  • Withr de 2.4.3 a 2.5.0
  • xfun de 0,29 a 0,30
• Bibliotecas Java atualizadas:
  • com.h2database.h2 de 1.4.195 a 2.1.210
  • org.apache.hadoop.hadoop-client-api de 3.3.1-databricks para 3.3.2-databricks
  • org.apache.hadoop.hadoop-client-runtime de "3.3.1" a "3.3.2"
  • org.rocksdb.rocksdbjni de 6.24.2 a 6.20.3

Apache Spark

O Databricks Runtime 10.5 inclui o Apache Spark 3.2.1. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 10.4 LTS (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-38354] [SC-97886] Reverter "[SQL] Adicionar métrica de sondagem de hash para junção de hash embaralhada"
• [SPARK-38484] [SAS-103][sas-111][SAS-113][sc-98102][Cherry-Pick] Instrumento Módulo SQL PySpark com registrador de uso geral
• [SPARK-38333] [SQL] A expressão PlanExpression deve ignorar a função addExprTree no Executor
• [SPARK-38646] [PYTHON][10.x] Extrair uma característica para funções Python
• [SPARK-38674] [PHOTON] Adicionar uma métrica ao PhotonSubqueryBroadcastExec
• [SPARK-38787] [SS] Substitua o valor encontrado pelo elemento não nulo na lista restante para a chave e remova os elementos nulos restantes dos valores no armazenamento keyWithIndexToValue para junções de stream-stream
• [SPARK-38446] [Core] Corrigir impasse entre ExecutorClassLoader e FileDownloadCallback causado por Log4j
• [SPARK-38705] [SQL] Usar identificador de função nos comandos create e drop function
• [SPARK-38684] [SS] Corrija o problema de precisão na junção externa fluxo-fluxo com o fornecedor de armazenamento de estado RocksDB
• [FAÍSCA-38655] [SQL] OffsetWindowFunctionFrameBase não consegue localizar a linha de offset cuja entrada não é nula
• [SPARK-38204] [SS] Usar StatefulOpClusteredDistribution para operadores com estado a fim de respeitar a retrocompatibilidade
• [SPARK-38616] [SQL] Monitorar o texto da consulta SQL no Catalyst TreeNode
• [SPARK-38600] [SQL] Incluir unit na cadeia de caracteres SQL de TIMESTAMPADD/DIFF
• [FAÍSCA-34805] [SQL] Propagar metadados de colunas aninhadas no Alias
• [SPARK-38535] [SQL] Adicione o datetimeUnit enum e use-o em TIMESTAMPADD/DIFF
• [SPARK-38415] [SQL] Atualize o tipo de resultado histogram_numeric (x, y) para que x seja igual ao tipo de entrada
• [SPARK-38148] [SQL] Não adicione poda de partição dinâmica se existir poda de partição estática
• [SPARK-37527] [SQL] Compilar COVAR_POP, COVAR_SAMP e CORR em H2Dialet
• [SPARK-38510] [SQL] Tente novamente ClassSymbol.selfType para contornar referências cíclicas
• [FAÍSCA-38509] [SQL] Cancele o registro das TIMESTAMPADD/DIFF funções e remova DATE_ADD/DIFF
• [SPARK-38504] [SQL] Não é possível ler TimestampNTZ como TimestampLTZ
• [SPARK-38526] [SQL] Corrigir nome enganoso de alias de função para RuntimeReplaceable
• [SPARK-38335] [SQL] Implementar suporte ao analisador para valores de coluna DEFAULT
• [SPARK-38593] [SS] Transfira a métrica do número de eventos atrasados descartados para o SessionWindowStateStoreSaveExec
• [FAÍSCA-38549] [SS] Adicionar numRowsDroppedByWatermark a SessionWindowStateStoreRestoreExec
• [SPARK-38583] [SQL] Restaurar o comportamento de to_timestamp que permite tipos numéricos
• [SPARK-38481] [SQL] Substituir exceção de overflow Java pela TIMESTAMPADD exceção Spark
• [SPARK-37753] [SQL] Aperfeiçoe a lógica para despriorizar o Broadcast hash join no DynamicJoinSelection.
• [SPARK-37582] [SPARK-37583][sql] CONTÉM, STARTSWITH, ENDSWITH deve suportar os tipos string e binário
• [SPARK-38345] [SQL] Introduzir a função SQL ARRAY_SIZE
• [SPARK-38385] [SQL] Melhorar mensagens de erro de instrução vazia e <EOF> em ParseException
• [SPARK-37614] [SQL] Suportar ANSI Função Agregada: regr_avgx & regr_avgy
• [FAÍSCA-38560] [SQL] Se Sum, Count, Any acompanhar com a cláusula DISTINCT, não pode aplicar optimizações de agregação parcial.
• [SPARK-38360] [SQL][ss][PYTHON] Introduza uma exists função para TreeNode eliminar padrões de código duplicados
• [SPARK-38385] [SQL] Melhorar mensagens de erro de casos de 'entrada incompatível' da ANTLR
• [SPARK-38240] [SQL] Improve RuntimeReplaceable e adicione uma orientação para adicionar novas funções
• [SPARK-38542] [SQL]UnsafeHashedRelation deve serializar numKeys externamente
• [SPARK-38521] [SQL] Alterar partitionOverwriteMode de string para variável no Scala
• [SPARK-38558] [SQL] Remover conversões desnecessárias entre IntegerType e IntDecimal
• [FAÍSCA-38489] [SQL] Aggregate.groupOnly suporta expressões dobráveis
• [FAÍSCA-38410] [SQL] Apoio à especificação do número inicial de partições para rebalanceamento
• [SPARK-38107] [SQL] Utilizar classes de erro para os erros de compilação de Funções Definidas pelo Usuário de python/pandas (UDFs)
• [FAÍSCA-38354] [SQL] Adicionar métrica de testes de hash para junção de hash embaralhada
• [SPARK-38112] [SQL] Usar classes de erro para erros de execução na manipulação de datas/carimbos de data/hora
• [SPARK-38361] [SQL] Adicionar o método getConnection de fábrica ao JDBCDialect.
• [SPARK-37865] [SQL] Corrigir erro de correção na desduplicação de união
• [SPARK-38298] [SQL][testes] Corrigir DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite no modo ANSI
• [SPARK-38407] [SQL] ANSI Cast: relaxar a restrição da conversão de tipos complexos não nulos
• [SPARK-38352] [SQL] Corrigir DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite no modo ANSI
• [SPARK-38054] [SQL] Suporta listar namespaces no dialeto MySQL JDBC v2
• [FAÍSCA-37960] [SQL] Uma nova estrutura para representar expressões de catalisador em APIs do DS v2
• [SPARK-38103] [SQL] Migrar erros de parsing de transform para a nova estrutura de erro
• [SPARK-38519] [SQL] A exceção de lançamento de AQE deve respeitar SparkFatalException
• [FAÍSCA-38528] [SQL] Itere ansiosamente sobre a sequência agregada ao criar a lista de projetos em ExtractGenerator
• [SPARK-38320] [SS] Corrigir o tempo limite de flatMapGroupsWithState em lotes com dados específicos para a chave
• [SPARK-38442] [SQL] Corrija ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite no modo ANSI
• [SPARK-38268] [SQL] Ocultar o campo "failOnError" no método toString de Abs/CheckOverflow
• [SPARK-37949] [SQL] Aperfeiçoar a estimativa das estatísticas de rebalanceamento
• [SPARK-38450] [SQL] Corrigir HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite no modo ANSI
• [SPARK-38501] [SQL] Corrigir falhas de teste do thriftserver no modo ANSI
• [FAÍSCA-37895] [SQL] Filtrar coluna empurrada para baixo com colunas entre aspas
• [SPARK-38449] [SQL] Evitar chamar createTable quando ignoreIfExists=true e a tabela já existe
• [SPARK-38406] [SQL] Melhorar o desempenho do ShufflePartitionsUtil createSkewPartitionSpecs
• [SPARK-37947] [SQL] Extrair o gerador da expressão GeneratorOuter que está contida em um operador Generate.
• [SPARK-38309] [CORE] Corrigir métricas de SHS shuffleTotalReads e shuffleTotalBlocks percentis
• [SPARK-38412] [SS] Corrigir a sequência trocada de "de" e "para" em StateSchemaCompatibilityChecker
• [SPARK-38267] [CORE][sql][SS] Substitua correspondências de padrão em expressões booleanas por instruções condicionais
• [SPARK-38104] [SQL] Migrar erros de análise da função de janela para a nova estrutura de erros
• [SPARK-38434] [SQL] Semântica correta do método CheckAnalysis.getDataTypesAreCompatibleFn
• [SPARK-38033] [SS] O processamento SS não pode ser iniciado porque o comando…
• [SPARK-38378] [SQL] Refatoração da gramática ANTLR em arquivos separados para o Parser e o Lexer
• [SPARK-37475] [SQL] Acrescentar um parâmetro de escala às funções floor e ceil
• [SPARK-38411] [CORE] Utilize UTF-8 ao doMergeApplicationListingInternal ler registos de eventos
• [SPARK-36553] [ML] KMeans evitar computar estatísticas auxiliares para um K elevado
• [SPARK-38393] [SQL] Limpar o uso obsoleto de GenSeq/GenMap
• [SPARK-38389] [SQL] Adicione os DATEDIFF() e DATE_DIFF() aliases para TIMESTAMPDIFF()
• [SPARK-33206] [CORE][3.2] Corrigir cálculo de peso de cache do índice de shuffle em arquivos de índice pequenos
• [SPARK-38353] [PYTHON] Instrumentar os métodos mágicos enter e exit para a API Pandas no Spark
• [SPARK-38323] [SQL][streaming] Suporta os metadados de ficheiros ocultos no Streaming
• [SPARK-38138] [SQL] Materializar subconsultas do QueryPlan
• [SPARK-38094] Permitir correspondência de nomes de colunas de esquema por IDs de campo
• [FAÍSCA-37923] [SQL] Gerar transformações de partição para o analisador interno do BucketSpec
• [SPARK-38363] [SQL] Evite erro em tempo de execução em Dataset.summary()/Dataset.describe() quando o modo ANSI estiver ativado
• [SPARK-38284] [SQL] Adicionar a TIMESTAMPDIFF() função
• [SPARK-38251] [SQL] Alterar Cast.toString como "cast" em vez de "ansi_cast" no modo ANSI
• [SPARK-38314] [SQL] Correção de falha na leitura de arquivos parquet depois de gravar os metadados do arquivo oculto em

Consulte Atualizações de manutenção do Databricks Runtime 10.5.

Ambiente do sistema

• Sistema Operacional: Ubuntu 20.04.4 LTS
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Píton: 3.8.10
• R: 4.1.3
• Lago Delta: 1.2.1

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN da Microsoft em 2022-03-28.

Bibliotecas Java e Scala instaladas (versão de cluster Scala 2.12)