Databricks Runtime 11.3 LTS (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 11.3 LTS, com tecnologia Apache Spark 3.3.0. O Databricks lançou essa versão em outubro de 2022.

Alterações comportamentais

[Alteração significativa] A nova versão do Python requer a atualização dos clientes Python do Databricks Connect V1

Para aplicar os patches de segurança necessários, a versão Python no Databricks Runtime 11.3 LTS é atualizada da 3.9.5 para a 3.9.19. Como essas alterações podem causar erros em clientes que usam funções específicas do PySpark, todos os clientes que usam o Databricks Connect V1 para Python com o Databricks Runtime 11.3 LTS devem ser atualizados para Python 3.9.7 ou posterior.

Novos recursos e aprimoramentos

• Python atualizado da versão 3.9.19 para a 3.9.21
• Gatilho do Streaming Estruturado para execução única está descontinuado
• Alterar o caminho de origem para o Carregador Automático
• O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO
• Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3
• Novos recursos para E/S preditiva
• Incremetando partições iniciais para escanear consultas seletivas
• Visualização das novas versões de plano da AQE
• Novos modos de rastreamento de progresso assíncrono e limpeza de log
• Agora há suporte para o Streaming Estruturado no Catálogo do Unity display()
• Os eventos de pipeline agora estão registrados no formato JSON
• Processamento com Estado Arbitrário em Transmissão Estruturada com Python
• Inferência de data nos arquivos CSV
• Suporte de clone para tabelas Apache Parquet e Apache Iceberg (Visualização Pública)
• Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Python atualizado da versão 3.9.19 para a 3.9.21

A versão Python no Databricks Runtime 11.3 LTS é atualizada da 3.9.19 para a 3.9.21.

Gatilho Único de Streaming Estruturado está obsoleto.

A configuração Trigger.Once foi preterida. O Databricks recomenda que você use Trigger.AvailableNow. Confira Configurar intervalos de gatilho do Streaming Estruturado

Alterar o caminho de origem para o Carregador Automático

Agora você pode alterar o caminho de entrada do diretório para o Carregador Automático configurado com o modo de listagem de diretórios sem precisar escolher um novo diretório de ponto de verificação. Confira Alterar o caminho de origem do Carregador Automático.

O conector Kinesis do Databricks agora dá suporte à leitura de fluxos de dados do Kinesis no modo EFO

Agora você pode usar a fonte de streaming estruturado Kinesis do Databricks no Databricks Runtime 11.3 LTS para executar consultas que leem a partir de fluxos de dados do Kinesis no modo fan-out avançado. Isso permite largura de banda dedicada por fragmento, por consumidor e entrega de registros no modo push.

Novas funções geoespaciais H3 e adição de suporte ao Photon para todas as funções H3

Apresentando quatro novas funções H3, h3_maxchild, h3_minchild, h3_pointash3 e h3_pointash3string. Essas funções estão disponíveis em SQL, Scala e Python. Agora, todas as expressões H3 têm suporte no Photon. Confira Funções geoespaciais H3

Novos recursos para E/S preditiva

O Photon dá suporte ao modo de alcance para a execução de frames, usando RANGE BETWEEN UNBOUNDED PRECEDING AND CURRENT ROW. O Photon também dá suporte ao modo de intervalo para quadros em crescimento, usando RANGE BETWEEN UNBOUNDED PRECEDING AND offset_stop { PRECEDING | FOLLOWING }.

Incremento de partições iniciais para escanear em consultas seletivas

O valor das partições iniciais a serem escaneadas foi aumentado para 10 para consulta seletiva com take/tail/limit em clusters habilitados para Photon e LIMIT no Databricks SQL. Com 10 partições, você pode evitar a sobrecarga de processamento ao executar vários trabalhos pequenos e um aumento lento de escala. Você também pode configurar isso por meio de spark.sql.limit.selectiveInitialNumPartitions.

Visualização de novas versões de plano AQE

Apresentando versões do plano AQE que permitem visualizar as atualizações do plano de execução (runtime) da AQE (execução de consulta adaptável).

Novos modos de rastreamento de progresso assíncrono e limpeza de log

Apresentando os modos do Structured Streaming denominados monitoramento de progresso assíncrono e purgação de log assíncrona. O modo de limpeza de log assíncrono reduz a latência das consultas de streaming, removendo logs usados para acompanhamento de progresso no plano de fundo.

Agora há suporte para o Streaming Estruturado no Catálogo do Unity display()

Agora você pode usar display() quando usa o Streaming estruturado para trabalhar com tabelas registradas no Catálogo do Unity.

Os eventos de pipeline agora estão registrados no formato JSON

Azure Databricks agora grava eventos de pipeline no registro do driver em um formato JSON. Embora cada evento seja analisável no JSON, grandes eventos podem não conter todos os campos ou os campos podem ser truncados. Cada evento é registrado em uma única linha com o prefixo Event received: . Este é um evento de exemplo.

Event received: {"id":"some-event-id","origin":{"pipeline_id":"some-pipeline-id","cluster_id":"some-cluster id"},"message":"simple [truncated] message","level":"WARN"}

Processamento com estado arbitrário no streaming estruturado com Python

Introdução à função applyInPandasWithState que pode ser usada para executar processamento arbitrário com estado no PySpark. Isso é equivalente à função flatMapGroupsWithState na API de Java.

Inferência de data nos arquivos CSV

Introduzindo uma inferência aprimorada de colunas de tipo de data em arquivos CSV. Quando o formato de data é consistente entre os registros de uma coluna, essas colunas podem ser inferidas como DateType. Você também pode ter uma combinação de formatos de data em colunas diferentes. Azure Databricks pode inferir automaticamente o formato de data para cada coluna. As colunas de data nos arquivos CSV antes do Databricks Runtime 11.3 LTS são deixadas como StringType.

Suporte para clonagem de tabelas Apache Parquet e Apache Iceberg (Visualização Pública)

O recurso de clone agora pode ser usado para criar e atualizar incrementalmente tabelas Delta que espelham as tabelas Apache Parquet e Apache Iceberg. Você pode atualizar sua tabela Parquet de origem e aplicar as alterações incrementalmente à tabela Delta clonada usando o comando clone. Consulte Clonar incrementalmente as tabelas Parquet e Apache Iceberg no Delta Lake.

Uso de SQL para especificar locais de armazenamento no nível do esquema e do catálogo para tabelas gerenciadas do Catálogo do Unity

Agora você pode usar o comando SQL MANAGED LOCATION para especificar um local de armazenamento em nuvem para tabelas gerenciadas nos níveis de catálogo e esquema. Consulte CREATE CATALOG e CREATE SCHEMA.

Alterações de comportamento

Databricks Connect 11.3.2

A atualização 11.3.2 do cliente do Databricks Connect agora é suportada. Consulte o Databricks Connect e as notas sobre a versão do Databricks Connect.

Conector Snowflake do Azure Databricks atualizado

O conector Azure Databricks Snowflake foi atualizado para a versão mais recente do código do repositório de software livre, Snowflake Data Source para Apache Spark. Agora ele é totalmente compatível com o Databricks Runtime 11.3 LTS, incluindo pushdown de predicado e pushdown do plano de consulta interno, mantendo todos os recursos da versão de código aberto.

Agora, o cache do Hadoop para S3A está desabilitado

O cache do Hadoop (FileSystem API Apache Hadoop Main 3.3.4) para S3A agora está desabilitado. Isso é para se alinhar com outros conectores de armazenamento em nuvem. Para cargas de trabalho que dependem do cache do sistema de arquivos, verifique se os sistemas de arquivos criados recentemente são fornecidos com as configurações corretas do Hadoop, incluindo provedores de credenciais.

O esquema de coleção de estatísticas do Delta Lake agora corresponde à ordem da coluna na definição do esquema de tabela

Essa alteração aborda um bug no protocolo Delta Lake em que as estatísticas não foram coletadas para colunas devido a uma incompatibilidade na ordenação de colunas do DataFrame e da tabela. Em alguns casos, você pode encontrar degradação do desempenho de escrita devido à coleta de estatísticas em campos não rastreados anteriormente. Consulte Ignorando dados.

applyInPandasWithState gera um erro se a consulta tiver uma redistribuição após o operador

O operador applyInPandasWithState gera um erro se a consulta tiver shuffle após o operador. Isso acontece quando o usuário adiciona shuffle após a operação ou o otimizador ou o coletor adiciona shuffle implicitamente.

Atualizações da biblioteca

• Bibliotecas de Python atualizadas:
  • distlib de 0.3.5 a 0.3.6
• Bibliotecas do R atualizadas:
  • broom atualizado de 1.0.0 para 1.0.1
  • callr de 3.7.1 para 3.7.2
  • dplyr de 1.0.9 a 1.0.10
  • dtplyr de 1.2.1 para 1.2.2
  • forcats de 0.5.1 a 0.5.2
  • atualização de versão future de 1.27.0 para 1.28.0
  • future.apply de 1.9.0 a 1.9.1
  • gert da versão 1.7.0 para 1.8.0
  • globals de 0.16.0 a 0.16.1
  • gtable de 0.3.0 a 0.3.1
  • haven da versão 2.5.0 para a 2.5.1
  • hms de 1.1.1 para 1.1.2
  • httr de 1.4.3 a 1.4.4
  • knitr versão 1.39 a 1.40
  • modelr de 0.1.8 a 0.1.9
  • pillar de 1.8.0 a 1.8.1
  • progressr de 0.10.1 a 0.11.0
  • readxl de 1.4.0 a 1.4.1
  • reprex de 2.0.1 para 2.0.2
  • rlang de 1.0.4 a 1.0.5
  • rmarkdown de 2.14 a 2.16
  • RSQLite de 2.2.15 a 2.2.16
  • rstudioapi de 0.13 a 0.14
  • rversions de 2.1.1 a 2.1.2
  • rvest de 1.0.2 para 1.0.3
  • scales de 1.2.0 a 1.2.1
  • sparklyr de 1.7.7 a 1.7.8
  • stringr de 1.4.0 a 1.4.1
  • taxa de sobrevivência de 3.2-13 para 3.4-0
  • tinytex de 0.40 a 0.41
  • viridisLite de 0.4.0 a 0.4.1
• Bibliotecas de Java atualizadas:
  • com.fasterxml.jackson.core.jackson-annotations de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-core de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.core.jackson-databind de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.dataformat.jackson-dataformat-cbor de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-joda de 2.13.3 a 2.13.4
  • com.fasterxml.jackson.datatype.jackson-datatype-jsr310 de 2.13.3 a 2.13.4
  • atualizar com.fasterxml.jackson.module.jackson-module-paranamer da versão 2.13.3 para a 2.13.4
  • com.fasterxml.jackson.module.jackson-module-scala_2.12 de 2.13.3 a 2.13.4
  • org.apache.hadoop.hadoop-client-api de 3.3.2-databricks a 3.3.4-databricks
  • org.apache.hadoop.hadoop-client-runtime de 3.3.2 a 3.3.4
  • org.apache.orc.orc-core de 1.7.5 a 1.7.6
  • org.apache.orc.orc-mapreduce de 1.7.5 a 1.7.6
  • org.apache.orc.orc-shims de 1.7.5 a 1.7.6
  • org.apache.parquet.parquet-column de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-common de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-encoding de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-format-structures de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-hadoop de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.apache.parquet.parquet-jackson de 1.12.0-databricks-0004 a 1.12.0-databricks-0007
  • org.glassfish.jersey.containers.jersey-container-servlet de 2.34 para 2.36
  • org.glassfish.jersey.containers.jersey-container-servlet-core de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-client de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-common de 2.34 a 2.36
  • org.glassfish.jersey.core.jersey-server de 2.34 a 2.36
  • org.glassfish.jersey.inject.jersey-hk2 de 2.34 a 2.36

Apache Spark

O Databricks Runtime 11.3 LTS inclui o Apache Spark 3.3.0. Esta versão inclui todas as correções e os aprimoramentos do Spark adicionados ao Databricks Runtime 11.2, bem como as seguintes correções de bugs e melhorias adicionais feitas no Spark:

• [SPARK-39957] [WARMFIX][sc-111425][CORE] Atraso onDisconnected para que o Driver possa receber ExecutorExitCode
• [SPARK-39955] [WARMFIX][sc-111424][CORE] Aprimorar o processo LaunchTask para evitar falhas de estágio causadas por mensagens de falha no envio de LaunchTask.
• [SPARK-40474] [SC-106248][cherry-pick] Corrigir o comportamento de inferência de esquema CSV para colunas de data e hora ao introduzir detecção automática para campos de data.
• [SPARK-40535] [SC-111243][sql] Corrigir bug o buffer de AggregatingAccumulator não será criado se as linhas de entrada estiverem vazias
• [SPARK-40434] [SC-111125][sc-111144][SC-111138][spark-40435][11.3][ss][PYTHON] Implementar applyInPandasWithState no PySpark
• [SPARK-40460] [SC-110832][ss] Corrigir métricas de streaming ao selecionar _metadata
• [SPARK-40324] [SC-109943][sql] Fornecer um contexto de consulta de ParseException
• [SPARK-40466] [SC-110899][ss] Melhorar a mensagem de erro quando dSv2 estiver desabilitado enquanto DSv1 não estiver disponível
• [SPARK-40456] [SC-110848][sql] PartitionIterator.hasNext deve ter um custo baixo ao ser chamado repetidamente
• [SPARK-40169] [SC-110772][sql] Não aplicar filtros do Parquet sem referência ao esquema de dados
• [SPARK-40467] [SC-110759][ss] Dividir FlatMapGroupsWithState até vários conjuntos de testes
• [SPARK-40468] [SC-110813][sql] Corrigir a poda de coluna no CSV quando _corrupt_record é selecionado
• [SPARK-40291] [SC-110085][sql] Melhorar a mensagem para a coluna que não está em grupo por erro de cláusula
• [SPARK-40398] [SC-110762][core][SQL] Use Loop em vez de Arrays.stream api
• [SPARK-40433] [SC-110684][ss][PYTHON] Adicionar toJVMRow em PythonSQLUtils para converter linha PySpark serializada em linha JVM
• [SPARK-40414] [SC-110568][sql][PYTHON] Tipo mais genérico em PythonArrowInput e PythonArrowOutput
• [SPARK-40352] [SC-109945][sql] Adicionar aliases de função: len, datepart, dateadd, date_diff e curdate
• [SPARK-40470] [SC-110761][sql] Manipular GetArrayStructFields e GetMapValue na função "arrays_zip"
• [SPARK-40387] [SC-110685][sql] Aprimorar a implementação do Spark Decimal
• [SPARK-40429] [SC-110675][sql] Definir somente KeyGroupedPartitioning quando a coluna referenciada estiver na saída
• [SPARK-40432] [SC-110716][ss][PYTHON] Introduza GroupStateImpl e GroupStateTimeout no PySpark
• [SPARK-39915] [SC-110496][sql] Verifique se o particionamento de saída é especificado pelo usuário no AQE
• [SPARK-29260] [SQL] Dar suporte a ALTER DATABASE SET LOCATION se o HMS der suporte
• [SPARK-40185] [SC-110056][sql] Remover sugestão de coluna quando a lista de candidatos estiver vazia
• [SPARK-40362] [SC-110401][sql] Corrigir canonicalização BinaryComparison
• [SPARK-40411] [SC-110381][ss] Refatorar FlatMapGroupsWithStateExec para ter um trait pai
• [SPARK-40293] [SC-110084][sql] Tornar a mensagem de erro da tabela V2 mais significativa
• [SPARK-38734] [SC-110383][sql] Remover a classe de erro INDEX_OUT_OF_BOUNDS
• [SPARK-40292] [SC-110300][sql] Corrigir os nomes das colunas na função "arrays_zip" quando as matrizes são referenciadas a partir de estruturas aninhadas
• [SPARK-40276] [SC-109674][core] Reduza o tamanho do resultado de RDD.takeOrdered
• [SPARK-40197] [SC-109176][sql] Substitua o plano de consulta pelo contexto para MULTI_VALUE_SUBQUERY_ERROR
• [SPARK-40300] [SC-109942][sql] Migrar para a DATATYPE_MISMATCH classe de erro
• [SPARK-40149] [SC-110055][sql] Propagar colunas de metadados por meio de Project
• [SPARK-40280] [SC-110146][sql] Adicionar suporte para o push parquet para int anotado e longo
• [SPARK-40220] [SC-110143][sc-109175][SQL] Não produza o mapa vazio de parâmetros da mensagem de erro
• [SPARK-40295] [SC-110070][sql] Permitir funções V2 com argumentos literais na distribuição/ordenação de gravação
• [SPARK-40156] [SC-109264][sql] url_decode() deve retornar uma classe de erro
• [SPARK-39195] [SQL] Spark OutputCommitCoordinator deve anular a fase quando o arquivo confirmado não for consistente com o status da tarefa
• [SPARK-40260] [SC-109424][sql] Use classes de erro nos erros de compilação de GROUP BY uma posição
• [SPARK-40205] [SC-110144][sc-109082][SQL] Forneça um contexto de consulta de ELEMENT_AT_BY_INDEX_ZERO
• [SPARK-40112] [SC-109676][sql] Aprimorar a função TO_BINARY()
• [SPARK-40209] [SC-109081][sql] Não altere o valor do intervalo de Decimal em changePrecision() em caso de erros
• [SPARK-40319] [SC-109873][sql] Remover método de erro de execução de consulta duplicado para PARSE_DATETIME_BY_NEW_PARSER
• [SPARK-40222] [SC-109209][sql] Try_add/try_divide/try_subtract/try_multiply numéricos deve gerar erro de seus filhos
• [SPARK-40183] [SC-108907][sql] Utilize a classe de erro NUMERIC_VALUE_OUT_OF_RANGE para overflow na conversão de valores decimais
• [SPARK-40180] [SC-109069][sql] Formatar mensagens de erro por spark-sql
• [SPARK-40153] [SC-109165][sql] Unificar funções de resolução e funções com valor de tabela
• [SPARK-40308] [SC-109880][sql] Permitir que argumentos delimitadores não flexíveis sejam usados na função str_to_map
• [SPARK-40219] [SC-110052][sc-109663][SQL] Plano lógico de exibição resolvido deve conter o esquema para evitar pesquisa redundante
• [SPARK-40098] [SC-109939][sc-108693][SQL] Formatar mensagens de erro no Thrift Server
• [SPARK-39917] [SC-109038][sql] Use classes de erro diferentes para estouro aritmético numérico/intervalo
• [SPARK-40033] [SC-109875][sql] Suporte de poda de esquema aninhado por meio de element_at
• [SPARK-40194] [SC-109660][sql] A função SPLIT em expressão regular vazia deve truncar a cadeia de caracteres vazia no final.
• [SPARK-40228] [SC-109835][sql] Não simplifique multiLike caso a expressão 'child' não seja de baixo custo
• [SPARK-40039] [SC-109896][sc-109260][SS] Apresentando um gerenciador de arquivos de ponto de verificação para streaming com base na interface Anulável do Hadoop
• [SPARK-40285] [SC-109679][sql] Simplificar o roundTo[Numeric] para Spark Decimal
• [SPARK-39896] [SC-109658][sql] UnwrapCastInBinaryComparison deve funcionar quando o rebaixamento de tipo de literal de In/InSet falhou
• [SPARK-40040] [SC-109662][sql] Propagar o limite local para ambos os lados se a condição de junção estiver vazia
• [SPARK-40055] [SC-109075][sql] listCatalogs também deve retornar spark_catalog mesmo quando a implementação de spark_catalog for defaultSessionCatalog
• [SPARK-39915] [SC-109391][sql] Dataset.repartition(N) pode não criar N partições na parte não AQE
• [SPARK-40207] [SC-109401][sql] Especifique o nome da coluna quando o tipo de dados não tiver suporte pela fonte de dados
• [SPARK-40245] [SC-109295][sql] Corrigir verificação de igualdade FileScan quando as colunas de partição ou filtro de dados não são lidas
• [SPARK-40113] [SC-109405][sql] Implementações de interface de reator ParquetScanBuilder DataSourceV2
• [SPARK-40211] [SC-109226][core][SQL] Permitir personalizar o número de partições iniciais no comportamento take()
• [SPARK-40252] [SC-109379][sql] Substituir Stream.collect(Collectors.joining) por StringJoiner API
• [SPARK-40247] [SC-109272][sql] Correção da verificação de igualdade do BitSet
• [SPARK-40067] [SQL] Usar Table#name() em vez de Scan#name() para preencher o nome da tabela no nó BatchScan no SparkUI
• [SPARK-39966] [SQL] Usar o filtro V2 em SupportsDelete
• [SPARK-39607] [SC-109268][sql][DSV2] Função de suporte de distribuição e ordenação V2 por escrito
• [SPARK-40224] [SC-109271][sql] Fazer com que o ObjectHashAggregateExec libere memória de maneira antecipada quando houver fallback para basedado em ordenação.
• [SPARK-40013] [SQL] As expressões DS V2 devem ter o padrão toString
• [SPARK-40214] [SC-109079][python][SQL] adicione 'get' às funções
• [SPARK-40192] [SC-109089][sql][ML] Remover groupby redundante
• [SPARK-40146] [SC-108694][sql] Simplificar o codegen para obter o valor do mapa
• [SPARK-40109] [SQL] Nova função SQL: get()
• [SPARK-39929] [SQL] O DS V2 dá suporte ao envio de funções de cadeia de caracteres (não ANSI)
• [SPARK-39819] [SQL] O push down de agregação do DS V2 pode funcionar com Top N ou Paginação (Ordenar com expressões)
• [SPARK-40213] [SC-109077][sql] Suporte à conversão de valor ASCII para caracteres Latino-1
• pt-BR: [SPARK-39887] [SQL] RemoveRedundantAliases deve manter os aliases que tornam exclusiva a saída dos nós de projeção
• [SPARK-39764] [SQL] Tornar PhysicalOperation igual a ScanOperation
• [SPARK-39964] [SQL] O pushdown do DS V2 deve unificar a rota de tradução
• [SPARK-39528] [SQL] Usar o filtro V2 em SupportsRuntimeFiltering
• [SPARK-40066] [SQL] Modo ANSI: sempre retornar nulo no acesso inválido à coluna do mapa
• [SPARK-39912] [SPARK-39828][sql] Refine CatalogImpl
• [SPARK-39833] [SC-108736][sql] Desabilitar o índice de coluna Parquet no DSv1 para corrigir um problema de exatidão no caso de sobreposição de partições e colunas de dados
• [SPARK-39880] [SQL] O comando SHOW FUNCTIONS V2 deve imprimir o nome da função qualificada, como v1
• [SPARK-39767] [SQL] Remover UnresolvedDBObjectName e adicionar UnresolvedIdentifier
• [SPARK-40163] [SC-108740][sql] feat: SparkSession.config(Mapa)
• [SPARK-40136] [SQL] Corrigir o fragmento dos contextos de consulta SQL
• [SPARK-40107] [SC-108689][sql] Retirar a conversão empty2null do FileFormatWriter
• [SPARK-40121] [PYTHON][sql] Inicializar projeção usada para Python UDF
• [SPARK-40128] [SQL] Fazer com que VectorizedColumnReader reconheça DELTA_LENGTH_BYTE_ARRAY como uma codificação de coluna autônoma
• [SPARK-40132] [ML] Recuperar rawPredictionCol em MultilayerPerceptronClassifier.setParams
• [SPARK-40050] [SC-108696][sql] Aprimorar EliminateSorts para dar suporte à remoção de classificações por meio de LocalLimit
• [SPARK-39629] [SQL] Suporte v2 SHOW FUNCTIONS
• [SPARK-39925] [SC-108734][sql] Adicionar sobrecarga de array_sort(coluna, comparador) às operações do DataFrame
• [SPARK-40117] [PYTHON][sql] Converter condição em java em DataFrameWriterV2.overwrite
• [SPARK-40105] [SQL] Aprimorar a repartição em ReplaceCTERefWithRepartition
• [SPARK-39503] [SQL] Adicionar o nome do catálogo da sessão para a tabela e a função da base de dados v1
• [SPARK-39889] [SQL] Usar classes de erro diferentes para valores numéricos ou de intervalo divididos por 0
• [SPARK-39741] [SQL] Dar suporte à codificação/decodificação de URL como função incorporada e organizar funções relacionadas à URL
• [SPARK-40102] [SQL] Usar SparkException em vez de IllegalStateException no SparkPlan
• [SPARK-40014] [SQL] Dê suporte à conversão de decimais para intervalos ANSI
• [SPARK-39776] [SQL][follow] Atualização UT de PlanStabilitySuite no modo ANSI
• [SPARK-39963] [SQL] Simplificar SimplifyCasts.isWiderCast

Atualizações de manutenção

Confira Atualizações de manutenção do Databricks Runtime 11.3.

Ambiente do sistema

• Sistema operacional: Ubuntu 20.04.5 LTS
  • Observação: esta é a versão do Ubuntu usada pelos contêineres do Databricks Runtime. Os contêineres do Databricks Runtime são executados nas máquinas virtuais do provedor de nuvem, que podem usar uma versão diferente do Ubuntu ou distribuição do Linux.
• Java: Zulu 8.56.0.21-CA-linux64
• Scala: 2.12.14
• Python: 3.9.21
• R: 4.1.3
• Delta Lake: 2.1.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do instantâneo do CRAN da Microsoft em 2022-09-08. O instantâneo não está mais disponível.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.12)