Tempo de execução do Databricks 13.2 (EoS)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 13.2, alimentado pelo Apache Spark 3.4.0.

A Databricks lançou esta versão em julho de 2023.

Novos recursos e melhorias

• Ponto de verificação do changelog para armazenamento de estado RocksDB
• Maior fiabilidade para VACUUM com um clone raso no Unity Catalog.
• Suporte para Python UDFs em SQL
• Delta Lake UniForm para Apache Iceberg está em pré-visualização pública
• O agrupamento de líquidos do Delta Lake está em pré-visualização pública
• Suporte de arquivo em Azure Databricks
• IDENTIFIER cláusula de apoio
• Suporte do Unity Catalog para Funções Definidas pelo Usuário (UDFs) em Python e Pandas
• Compartilhar esquemas usando o Compartilhamento Delta
• Correções de erros

Ponto de verificação do changelog para armazenamento de estado RocksDB

Você pode habilitar o ponto de verificação do changelog para reduzir a duração do ponto de verificação e a latência de ponta a ponta para cargas de trabalho de Streaming Estruturado com monitoração de estado. A Databricks recomenda ativar o ponto de verificação para o registo de alterações em todas as consultas de Transmissão Estruturada com monitorização de estado. Consulte Ativar ponto de verificação do registo de alterações.

Confiabilidade aprimorada para VACUUM com clone superficial no Unity Catalog.

Quando você usa tabelas gerenciadas do Unity Catalog para a origem e o destino de uma operação de clone superficial, o Unity Catalog gerencia os arquivos de dados subjacentes para melhorar a confiabilidade da origem e do destino da operação de clone. A execução de VACUUM na origem de um clone superficial não quebra a tabela clonada. Veja Use VACUUM com clones superficiais do Unity Catalog.

Suporte para UDFs em Python em SQL

Agora pode declarar funções definidas pelo utilizador usando Python dentro de instruções SQL CREATE FUNCTION no Unity Catalog. Consulte Funções definidas pelo usuário (UDFs) no Catálogo Unity.

Delta Lake UniForm para Apache Iceberg está em versão beta pública

O Formato Universal Delta Lake (UniForm) permite que você leia tabelas Delta com clientes Apache Iceberg. Veja Como ler tabelas Delta com clientes Iceberg.

O agrupamento de líquidos do Delta Lake está em pré-visualização pública

O clustering líquido do Delta Lake substitui o particionamento de tabelas e ZORDER para simplificar as decisões relacionadas ao layout de dados e otimizar o desempenho das consultas. Veja Utilizar clustering líquido para tabelas.

Suporte archivístico em Azure Databricks

O suporte arquivístico no Azure Databricks introduz um conjunto de capacidades que permitem usar políticas de ciclo de vida baseadas na cloud no armazenamento de objetos na nuvem contendo tabelas Delta para mover ficheiros para camadas de armazenamento arquivístico. Ver Suporte arquivístico em Azure Databricks.

IDENTIFIER suporte a cláusulas

Use IDENTIFIER(:mytable) para parametrizar com segurança nomes de tabela, coluna, função e esquema em muitas instruções SQL.

Suporte ao Unity Catalog para Funções Definidas pelo Usuário (UDFs) em Python e Pandas

No Databricks Runtime 13.2 e superiores, funções definidas pelo utilizador (UDFs) escritas em Python são suportadas em clusters que utilizam o modo de acesso padrão (anteriormente modo de acesso partilhado) num espaço de trabalho com Unity Catalog. Isto inclui UDFs em Python e Pandas. Para detalhes sobre Python UDFs, veja Funções escalares definidas pelo utilizador - Python.

Compartilhar esquemas usando o Compartilhamento Delta

O Databricks Runtime 13.2 adiciona a capacidade de usar ALTER SHARE <share-name> ADD SCHEMA <schema-name> para compartilhar um esquema inteiro usando o Compartilhamento Delta, dando ao destinatário acesso a todas as tabelas e exibições no esquema no momento em que você o compartilha, juntamente com quaisquer tabelas e exibições que forem adicionadas ao esquema no futuro. Consulte Adicionar esquemas a uma partilha e ALTER SHARE.

Correções de erros

• Corrigido um bug com o leitor JSON, onde os registros eram analisados no modo PERMISSIVE se failOnUnknownFieldsmode estivesse habilitado. Os registos são agora descartados no modo DROPMALFORMEDparser ou gravados no badRecordsPath, caso alguma destas opções esteja configurada. FAILFAST lança um erro se um tipo de coluna não corresponder.

Atualizações da biblioteca

• Bibliotecas Python melhoradas:
  • nodeenv de 1.7.0 a 1.8.0
• Bibliotecas R atualizadas:
• Bibliotecas Java atualizadas:
  • io.delta.delta-sharing-spark_2.12 de 0.6.7 a 0.7.0

Apache Spark

O Databricks Runtime 13.2 inclui o Apache Spark 3.4.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 13.1 (EoS), bem como as seguintes correções de bugs adicionais e melhorias feitas no Spark:

• [SPARK-42750] [SC-133452][dbrrm-273] Suporte para a instrução de inserção por nome
• [SPARK-43133] [SC-133728] Suporte para Scala Client DataStreamWriter Foreach
• [SPARK-43663] [SC-134135][connect][PS] Ativar SeriesParityTests.test_compare
• [SPARK-43684] [SC-134162][spark-43685][SPARK-43686][spark-43691][CONNECT][ps] Correção (NullOps|NumOps).(eq|ne) para o Spark Connect.
• [SPARK-44021] [SC-134109][sql] Adicionar spark.sql.files.maxPartitionNum
• [SPARK-43910] [SC-132936][sql] Retirar __auto_generated_subquery_name de ids em erros
• [SPARK-43976] [SC-133375][core] Manipule o caso em que modifiedConfigs não existe nos logs de eventos
• [SPARK-32559] [SC-133992][sql] Corrigir a lógica de trim que não processou corretamente os caracteres de controle ASCII
• [SPARK-43421] [SC-132930][ss] Implementar o ponto de verificação baseado em Changelog para o provedor de armazenamento de estado RocksDB
• [SPARK-43594] [SC-133851][sql] Adicionar LocalDateTime a anyToMicros
• [SPARK-43884] [SC-133867] Marcadores de parâmetros em DDL
• [SPARK-43398] [SC-133894][core] O tempo limite do executor deve ser máximo de shuffle ocioso e tempo limite rdd
• [SPARK-43610] [SC-133892][connect][PS] Ativar InternalFrame.attach_distributed_column no Spark Connect.
• [SPARK-43971] [SC-133826][conectar][PYTHON] Suporte Python's createDataFrame em modo streaming
• [SPARK-44006] [SC-133652][connect][PYTHON] Suporta artefatos de cache
• [SPARK-43790] [SC-133468][python][CONNECT][ml] Adicionar copyFromLocalToFs API
• [SPARK-43921] [SC-133461][protobuf] Gerar arquivos descritores Protobuf em tempo de compilação
• [SPARK-43906] [SC-133638][sc-133404][PYTHON][connect] Implemente o suporte a arquivos em SparkSession.addArtifacts
• [SPARK-44010] [SC-13374][python][SS][minor] Python StreamingQueryProgress rowsPerSecond type fix
• [SPARK-43768] [SC-132398][python][CONNECT] Python suporte à gestão de dependências no Python Spark Connect
• [SPARK-43979] [13.X] Reverter "[SC-133456][sql] CollectedMetrics deve ser considerado como único na auto-junção"
• [SPARK-42290] [SC-133696][sql] Corrige o erro OOM que não consegue ser relatado quando AQE está ativado
• [SPARK-43943] [SC-133648][sql][PYTHON][conectar] Adicionar funções matemáticas SQL ao Scala e Python
• [SPARK-43747] [SC-132047][python][CONNECT] Implemente o suporte pyfile em SparkSession.addArtifacts
• [SPARK-43700] [SC-133726][spark-43701][CONNECT][ps] Ativar TimedeltaOps.(sub|rsub) com o Spark Connect
• [SPARK-43712] [SC-133641][spark-43713][CONNECT][ps] Ativar teste de paridade: test_line_plot, test_pie_plot.
• [SPARK-43867] [SC-132895][sql] Melhorar candidatos sugeridos para atributo não resolvido
• [SPARK-43901] [SC-133454][sql] Avro para suportar o tipo decimal personalizado apoiado por Long
• [SPARK-43267] [SC-133024][jdbc] Manipular coluna definida pelo usuário desconhecida do postgres como string na matriz
• [SPARK-43935] [SC-133637][sql][PYTHON][conectar] Adicionar xpath_* funções ao Scala e Python
• [SPARK-43916] [SC-133647][sql][PYTHON][conectar] Adicionar percentil ao Scala e à API Python
• [SPARK-43717] [SC-133455][connect] Cliente Scala redução agg não consegue lidar com partições nulas para entradas primitivas em Scala
• [SPARK-43984] [SC-133469][sql][PROTOBUF] Alterar para usar foreach quando map não produz resultados
• [SPARK-43612] [SC-132011][conectar][PYTHON] Implementar o SparkSession.addArtifact(s) no cliente Python
• [SPARK-44002] [SC-133606][connect] Corrigir o manipulador de status de artefato
• [SPARK-43933] [SC-133470][sql][PYTHON][conectar] Adicionar funções agregadas de regressão linear ao Scala e Python
• [SPARK-43920] [SC-133614][sql][CONNECT] Criar módulo sql/api
• [SPARK-43979] [SC-133456][sql] CollectedMetrics deve ser tratado como um só para auto-junção
• [SPARK-43977] [SC-133373][connect] Corrigir resultado de verificação inesperada de dev/connect-jvm-client-mima-check
• [SPARK-43985] [SC-133412][protobuf] corrigir o bug dos enums como inteiros no spark protobuf
• [SPARK-43930] [SC-133406][sql][PYTHON][conectar] Adicionar unix_* funções ao Scala e Python
• [SPARK-43807] [SC-132545][sql] Migrar _LEGACY_ERROR_TEMP_1269 para PARTITION_SCHEMA_IS_EMPTY
• [SPARK-43956] [SC-133123][sql] Corrigir o erro que não exibe o SQL da coluna para Percentil[Cont|Disc]
• [SPARK-42626] [SC-133248][connect] Adicionar iterador destrutivo para SparkResult
• [SPARK-43333] [SC-132898][sql] Permitir que o Avro converta o tipo union em SQL, mantendo o nome do campo estável com o tipo
• [SPARK-43953] [SC-133134][connect] Remover pass
• [SPARK-43970] [SC-133403][python][CONNECT] Ocultar métodos de dataframe não suportados do preenchimento automático
• [SPARK-43973] [SC-133272][ss][UI] A interface do usuário de streaming estruturado deve exibir consultas com falha corretamente
• [SPARK-42577] [SC-125445][core] Adicione a limitação máxima de tentativas para estágios para evitar possíveis tentativas infinitas
• [SPARK-43841] [SC-132699][sql] Gerir atributos candidatos sem prefixo StringUtils#orderSuggestedIdentifiersBySimilarity
• [SPARK-41497] [SC-124795][core][Follow UP]Modifique a versão de suporte de configuração spark.rdd.cache.visibilityTracking.enabled para 3.5.0
• [SPARK-37942] [SC-130983][core][SQL] Migrar classes de erro
• [SPARK-43898] [SC-132926][core] Registar automaticamente immutable.ArraySeq$ofRef para KryoSerializer Scala 2.13
• [SPARK-43775] [SC-132891][sql] DataSource V2: Permite representar atualizações como exclusões e inserções
• [SPARK-43817] [SC-132662][spark-43702][PYTHON] Implementar suporte para UserDefinedType na função createDataFrame a partir de pandas DataFrame e toPandas
• [SPARK-43418] [SC-132753][sc-130685][CONNECT] Adicionar SparkSession.Builder.getOrCreate
• [SPARK-43549] [SC-132383][sql] Converter _LEGACY_ERROR_TEMP_0036 para INVALID_SQL_SYNTAX. ANALYZE_TABLE_UNEXPECTED_NOSCAN
• [SPARK-41497] [SC-124644][core] Corrigindo a subcontagem do acumulador no caso de tarefa reexperimentada com cache RDD
• [SPARK-43892] [SC-133006][python] Adicionar suporte de preenchimento automático para df[|] in pyspark.sql.dataframe.DataFrame
• [SPARK-43881] [SC-133140][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listDatabases
• [SPARK-43205] [SC-132623] IDENTIFIER cláusula
• [SPARK-43545] [SC-132378][sql][PYTHON] Suporte para tipo de timestamp aninhado
• [SPARK-43949] [SC-133048][python] Atualize o cloudpickle para 2.2.1
• [SPARK-43760] [SC-132809][sql] Possibilidade de nulidade dos resultados da subconsulta escalar
• [SPARK-43696] [SC-132737][spark-43697][SPARK-43698][spark-43699][PS] Correção TimedeltaOps para o Spark Connect
• [SPARK-43895] [SC-132897][connect][GO] Prepare o caminho do pacote Go
• [SPARK-43894] [SC-132892][python] Corrigir bug em df.cache()
• [SPARK-43509] [SC-131625][connect] Suporte Criação de várias sessões do Spark Connect
• [SPARK-43882] [SC-132888][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2122
• [SPARK-43687] [SC-132747][spark-43688][SPARK-43689][spark-43690][PS] Correção NumOps para o Spark Connect
• [SPARK-43604] [SC-132165][sql] Refatora INVALID_SQL_SYNTAX para evitar incorporar texto de erro no código-fonte
• [SPARK-43859] [SC-132883][sql] Sobrescrever toString em LateralColumnAliasReference
• [SPARK-43792] [SC-132939][sql][PYTHON][connect] Adicionar padrão opcional para Catalog.listCatalogs
• [SPARK-43353] Reverter "[SC-132734][python] Regredir os erros de sessão restantes para a classe de erro"
• [SPARK-43375] [SC-130309][connect] Melhorar as mensagens de erro para INVALID_CONNECT_URL
• [SPARK-43863] [SC-132721][connect] Remover redundância do toSeq para SparkConnectPlanner Scala 2.13
• [SPARK-43676] [SC-132708][spark-43677][SPARK-43678][spark-43679][PS] Correção DatetimeOps para o Spark Connect
• [SPARK-43666] [SC-132689][spark-43667][SPARK-43668][spark-43669][PS] Correção BinaryOps para o Spark Connect
• [SPARK-43680] [SC-132709][spark-43681][SPARK-43682][spark-43683][PS] Correção NullOps para o Spark Connect
• [SPARK-43782] [SC-132885][core] Suporta configuração de nível de log com conf estático do Spark
• [SPARK-43132] [SC-131623] [SS] [CONNECT] Python API Client DataStreamWriter foreach()
• [SPARK-43290] [SC-131961][sql] Adiciona suporte a AES IV e AAD ao ExpressionImplUtils
• [SPARK-43795] [SC-132532][connect] Remover parâmetros não usados para SparkConnectPlanner
• [SPARK-42317] [SC-129194][sql] Atribua nome a _LEGACY_ERROR_TEMP_2247: CANNOT_MERGE_SCHEMAS
• [SPARK-43597] [SC-131960][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0017
• [SPARK-43834] [SC-132679][sql] Use classes de erro nos erros de compilação de ResolveDefaultColumns
• [SPARK-43749] [SC-132423][spark-43750][SQL] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[4-5]
• [SPARK-43576] [SC-132533][core] Remover declarações não utilizadas do módulo Core
• [SPARK-43314] [SC-129970][connect][PYTHON] Migrar erros do cliente Spark Connect para a classe de erro
• [SPARK-43799] [SC-132715][python] Adicionar opção binária do descritor à API do Pyspark Protobuf
• [SPARK-43837] [SC-132678][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_103[1-2]
• [SPARK-43862] [SC-132750][sql] Atribua um nome à classe de erro LEGACY_ERROR_TEMP(1254 & 1315)
• [SPARK-43886] [SC-132808][python] Aceitar tupla genérica como dicas de digitação de Pandas UDF
• [SPARK-43530] [SC-132653][protobuf] Leia o arquivo descritor apenas uma vez
• [SPARK-43820] [SC-132676][spark-43822][SPARK-43823][spark-43826][SPARK-43827] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_241[1-7]
• [SPARK-43671] [SC-132519][spark-43672][SPARK-43673][spark-43674][PS] Correção CategoricalOps para o Spark Connect
• [SPARK-39979] [SC-132685][sql] Adicionar opção para usar vetores de largura variável grande para operações UDF de seta
• [SPARK-43692] [SC-132660][spark-43693][SPARK-43694][spark-43695][PS] Correção StringOps para o Spark Connect
• [SPARK-43353] [SC-132734][python] Migrar os erros de sessão restantes para a classe de erros
• [SPARK-43815] [SC-132781][sql] Adicionar to_varchar alias para to_char
• [SPARK-43543] [13.x][sc-131839][PYTHON] Corrigir o comportamento MapType aninhado no Pandas UDF
• [SPARK-43361] [SC-131789][protobuf] atualizar a documentação para erros relacionados com a serialização de enum
• [SPARK-43740] [SC-132035][python][CONNECT] Ocultar métodos não suportados session do preenchimento automático
• [SPARK-43022] [SC-131681][connect] Suportar funções protobuf para o cliente Scala
• [SPARK-43304] [13.x][sc-129969][CONNECT][python] Migrar NotImplementedError para PySparkNotImplementedError
• [SPARK-43860] [SC-132713][sql] Ative a recursão de cauda sempre que possível
• [SPARK-42421] [SC-132695][core] Use os utils para obter o switch para alocação dinâmica usado no ponto de verificação local
• [SPARK-43590] [SC-132012][conectar] Implementar connect-jvm-client-mima-check para suportar verificação mima com o módulo protobuf
• [SPARK-43315] [13.x][connect][PYTHON][ss] Migrar erros restantes de DataFrame(Reader|Writer) para a classe de erros
• [SPARK-43361] [SC-130980][protobuf] faísca-protobuf: permitir serde com enum como ints
• [SPARK-43789] [SC-132397][r] Usa 'spark.sql.execution.arrow.maxRecordsPerBatch' em createDataFrame do R com Arrow por padrão
• [SPARK-43596] [SC-126994][sql] Processar o predicado IsNull em rewriteDomainJoins
• [SPARK-42249] [SC-122565][sql] Aperfeiçoando o link HTML para a documentação em mensagens de erro.
• [SPARK-43128] [SC-131628][connect][SS] Faça recentProgress e lastProgress retorne StreamingQueryProgress consistentes com a Api Scala nativa
• [SPARK-43387] [SC-130448][sql] Forneça um código de erro legível por humanos para _LEGACY_ERROR_TEMP_1168.
• [SPARK-43334] [SC-132358] [UI] Corrigir erro ao serializar ExecutorPeakMetricsDistributions na resposta da API
• [SPARK-42958] [SC-131475][connect] Refatorar connect-jvm-client-mima-check para suportar o mima check com o módulo avro
• [SPARK-43591] [SC-131977][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0013
• [SPARK-38464] [SC-132211][core] Usar classes de erro em org.apache.spark.io
• [SPARK-43759] [SC-132189][sql][PYTHON] Disponibilizar TimestampNTZType em pyspark.sql.types
• [SPARK-43649] [SC-132036][spark-43650][SPARK-43651][sql] Atribuir nomes à classe de erro _LEGACY_ERROR_TEMP_240[1-3]
• [SPARK-43719] [SC-132016][webui] Manipular campo missing row.excludedInStages
• [SPARK-42956] [SC-127257][connect] Suportar funções avro para o cliente Scala
• [SPARK-43487] [SC-131975][sql] Corrigir mensagem de erro de CTE aninhada
• [SPARK-43265] [SC-129653] Mover o framework de erro para um módulo utils comum
• [SPARK-40912] [SC-131547][core]Sobrecarga de exceções no KryoDeserializationStream
• [SPARK-43583] [SC-131976][core] obter MergedBlockedMetaReqHandler a partir do delegado em vez da instância SaslRpcHandler
• [SPARK-42996] [SC-131997][connect][PS][ml] Criar & atribuir tíquetes JIRA adequados para todos os testes com falha.
• [SPARK-38469] [SC-131425][core] Use a classe de erro em org.apache.spark.network
• [SPARK-43718] [SC-132014][sql] Definir anulável corretamente para chaves em USING junções
• [SPARK-43502] [SC-131419][python][CONNECT] DataFrame.drop deve aceitar coluna vazia
• [SPARK-43743] [SC-132038][sql] Porta HIVE-12188 (DoAs não funciona corretamente em HS2 não protegido por kerberos)
• [SPARK-43598] [SC-131929][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_2400
• [SPARK-43138] [SC-131031][core] Corrigir ClassNotFoundException durante a migração
• [SPARK-43360] [SC-131526][ss][CONNECT] Cliente Scala StreamingQueryManager
• [SPARK-38467] [SC-131025][core] Use classes de erro em org.apache.spark.memory
• [SPARK-43345] [SC-131790][spark-43346][SQL] Renomeie as classes de erro LEGACY_ERROR_TEMP[0041|1206]
• [SPARK-42815] [SC-126450][sql] Suporte para eliminação de subexpressão em expressões de atalho
• [SPARK-38462] [SC-130449][core] Adicionar classe de erro INTERNAL_ERROR_EXECUTOR
• [SPARK-43589] [SC-131798][sql] Corrigir cannotBroadcastTableOverMaxTableBytesError para usar bytesToString
• [SPARK-43539] [SC-131830][sql] Atribua um nome à classe de erro _LEGACY_ERROR_TEMP_0003
• [SPARK-43157] [SC-131688][sql] Clone InMemoryRelation plano armazenado em cache para impedir que o plano clonado faça referência aos mesmos objetos
• [SPARK-43309] [SC-129746][spark-38461][CORE] Estenda INTERNAL_ERROR com categorias e adicione classe de erro INTERNAL_ERROR_BROADCAST
• [SPARK-43281] [SC-131370][sql] Resolver problema de gravador simultâneo que não atualiza métricas de arquivo
• [SPARK-43383] [SC-130660][sql] Adicionar rowCount estatísticas a LocalRelation
• [SPARK-43574] [SC-131739][python][SQL] Suporte para definir Python executável para APIs de funções UDF e pandas nos trabalhadores durante a execução
• [SPARK-43569] [SC-131694][sql] Remover solução alternativa para HADOOP-14067
• [SPARK-43183] [SC-128938][ss][13.x] Introduza um novo callback "onQueryIdle" para StreamingQueryListener
• [SPARK-43528] [SC-131531][sql][PYTHON] Suporta nomes de campos duplicados em createDataFrame com pandas DataFrame
• [SPARK-43548] [SC-131686][ss] Remover solução alternativa para HADOOP-16255
• [SPARK-43494] [SC-131272][core] Chamar replicate() diretamente para HdfsDataOutputStreamBuilder em vez de usar reflexão em SparkHadoopUtil#createFile
• [SPARK-43471] [SC-131063][core] Tratar hadoopProperties e metricsProperties ausentes
• [SPARK-42899] [SC-126456][sql] Corrigir DataFrame.to(esquema) para lidar com o caso em que existe um campo aninhado não anulável dentro de um campo anulável
• [SPARK-43302] [SC-129747][sql] Tornar Python UDAF uma Função Agregada
• [SPARK-43223] [SC-131270][connect] Digitado agg, reduzir funções, RelationalGroupedDataset#as
• [SPARK-43482] [SC-131375][ss] Expanda QueryTerminatedEvent para conter a classe de erro se existir na exceção
• [SPARK-43359] [SC-131463][sql] Excluir da tabela Hive deveria gerar "UNSUPPORTED_FEATURE.TABLE_OPERATION"
• [SPARK-43284] [SC-130313] Voltar para cadeias de caracteres codificadas por URL
• [SPARK-43492] [SC-131227][sql] Adicionar aliases de funções com 3 argumentos DATE_ADD e DATE_DIFF
• [SPARK-43473] [SC-131372][python] Suporte para o tipo struct no createDataFrame a partir do pandas DataFrame
• [SPARK-43386] [SC-131110][sql] Melhorar a lista de colunas/atributos sugeridos na UNRESOLVED_COLUMN.WITH_SUGGESTION classe de erro
• [SPARK-43443] [SC-131332][sql] Adicionar benchmark para inferência de tipo Timestamp ao usar um valor inválido
• [SPARK-43518] [SC-131420][sql] Converter _LEGACY_ERROR_TEMP_2029 para o INTERNAL_ERROR
• [SPARK-42604] [SC-130648][connect] Implementar a função functions.typedlit
• [SPARK-42323] [ES-669513] Reverter "[SC-123479][sql] Atribuir nome a _LEGACY_ERROR_TEMP_2332"
• [SPARK-43357] [SC-130649][sql] Data do filtro Data da cotação do tipo
• [SPARK-43410] [SC-130526][sql] Melhorar o loop vetorizado para skipValues embalados
• [SPARK-43441] [SC-130995][core] makeDotNode não deve falhar quando DeterministicLevel está ausente
• [SPARK-43324] [SC-130455][sql] Manipular UPDATE comandos para fontes baseadas em delta
• [SPARK-43272] [SC-131168][core] Chamar createFile diretamente em vez de reflexão
• [SPARK-43296] [13.x][sc-130627][CONNECT][python] Migrar erros de sessão do Spark Connect para a classe de erro
• [SPARK-43405] [SC-130987][sql] Remover inútil getRowFormatSQL, inputRowFormatSQL, outputRowFormatSQL método
• [SPARK-43447] [SC-131017][r] Suporte R 4.3.0
• [SPARK-43425] [SC-130981][sql] Adicionar TimestampNTZType a ColumnarBatchRow
• [SPARK-41532] [SC-130523][connect][CLIENT] Adicionar verificação para operações que envolvem vários quadros de dados
• [SPARK-43262] [SC-129270][connect][SS][python] Migrar erros de streaming estruturado do Spark Connect para a classe de erro
• [SPARK-42992] [13.x][sc-129465][PYTHON] Apresenta PySparkRuntimeError
• [SPARK-43422] [SC-130982][sql] Manter tags em LogicalRelation com saída de metadados
• [SPARK-43390] [SC-130646][sql] O DSv2 permite que o CTAS/RTAS reserve a anulabilidade do esquema
• [SPARK-43430] [SC-130989][connect][PROTO] ExecutePlanRequest suporta opções de solicitação arbitrária.
• [SPARK-43313] [SC-130254][sql] Adicionando valores DEFAULT de coluna ausentes para ações MERGE INSERT
• [SPARK-42842] [SC-130438][sql] Mesclar a classe de erro _LEGACY_ERROR_TEMP_2006 em REGEX_GROUP_INDEX
• [SPARK-43377] [SC-130405][sql] Ativar spark.sql.thriftServer.interruptOnCancel por padrão
• [SPARK-43292] [SC-130525][core][CONNECT] Transferir ExecutorClassLoader para o módulo core e simplificar Executor#addReplClassLoaderIfNeeded
• [SPARK-43040] [SC-130310][sql] Melhorar o suporte ao tipo TimestampNTZ na fonte de dados JDBC
• [SPARK-43343] [SC-130629][ss] FileStreamSource deve desativar uma verificação adicional de padrões de ficheiro ao criar a fonte de dados
• [SPARK-43312] [SC-130294][protobuf] Opção para converter quaisquer campos em JSON
• [SPARK-43404] [SC-130586][ss] Ignorar a reutilização do arquivo sst para a mesma versão do armazenamento de estado RocksDB para evitar erro de incompatibilidade de id
• [SPARK-43397] [SC-130614][core] Registar a duração do descomissionamento do executor no método executorLost
• [SPARK-42388] [SC-128568][sql] Evite leituras de rodapé de parquet duas vezes no leitor vetorizado
• [SPARK-43306] [13.x][sc-130320][PYTHON] Migrar ValueError de tipos SQL do Spark para a classe de erro
• [SPARK-43337] [SC-130353][ui][3.4] Os ícones de seta Asc/desc para a coluna de classificação não são exibidos na coluna da tabela
• [SPARK-43279] [SC-130351][core] Limpeza de membros não utilizados de SparkHadoopUtil
• [SPARK-43250] [SC-130147][sql] Substitua a classe _LEGACY_ERROR_TEMP_2014 de erro por um erro interno
• [SPARK-43363] [SC-130299][sql][PYTHON] Faça com que chame para astype o tipo de categoria somente quando o tipo de seta não for fornecido
• [SPARK-43261] [SC-130154][python] Migrar TypeError de tipos SQL do Spark para a classe de erro
• [SPARK-41971] [SC-130230][sql][PYTHON] Adicionar uma configuração para conversão de pandas como lidar com tipos struct
• [SPARK-43381] [SC-130464][connect] Faça 'transformStatCov' preguiçoso
• [SPARK-43362] [SC-130481][sql] Tratamento especial do tipo JSON para conector MySQL
• [SPARK-42843] [SC-130196][sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2007 para REGEX_GROUP_INDEX
• [SPARK-42585] [SC-129968][connect] Streaming de relações locais
• [SPARK-43181] [SC-130476][sql] Mostrar URL da UI Web no spark-sql shell
• [SPARK-43051] [SC-130194][connect] Adicionar opção para emitir valores padrão
• [SPARK-43204] [SC-129296][sql] Alinhar atribuições MERGE com atributos de tabela
• [SPARK-43348] [SC-130082][python] Suporte Python 3.8 em PyPy3
• [SPARK-42845] [SC-130078][sql] Atualize a classe de erro _LEGACY_ERROR_TEMP_2010 para InternalError
• [SPARK-43211] [SC-128978][hive] Remover suporte a Hadoop2 em IsolatedClientLoader

Ambiente do sistema

• Sistema Operacional: Ubuntu 22.04.2 LTS
• Java: Zulu 8.70.0.23-CA-linux64
• Scala: 2.12.15
• Píton: 3.10.12
• R: 4.2.2
• Lago Delta: 2.4.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R foram instaladas a partir do snapshot do Microsoft CRAN a 10 de fevereiro de 2023.

Instalei as bibliotecas Java e Scala (versão do cluster Scala 2.12)