Databricks Runtime 18.2 (Beta)

As notas de versão a seguir fornecem informações sobre o Databricks Runtime 18.2 (Beta).

Essa versão incorpora todos os recursos, melhorias e correções de bug de todas as versões anteriores do Databricks Runtime. O Databricks lançou esta versão em abril de 2026.

Alterações comportamentais

• O XPath não busca mais DTDs externos
• Preservação de struct NULL em INSERT, MERGE e gravações de streaming com evolução do esquema
• Suporte para NullType (VOID) em tabelas Delta
• SHOW CREATE TABLE dá suporte a exibições de métrica
• Correção para linhas de remoção LEFT OUTER JOIN LATERAL
• Natural JOIN respeita correspondência de colunas que não diferenciam maiúsculas de minúsculas
• Validação de dependência de SQL UDF no Unity Catalog
• Gravações otimizadas para tabelas do Unity Catalog particionadas, criadas com CRTAS
• As dependências do SDK v1 do AWS são sombreadas
• Corrigir a autoridade de EPSG incorreta para o SRID 102100 definido por ESRI

O XPath não busca mais DTDs externos

Quando você avalia XPath em XML, Azure Databricks não carrega mais DTDs (Definições de Tipo de Documento) externas declaradas no documento. Anteriormente, o XPath podia falhar quando o XML continha uma referência DTD externa que apontava para uma URL malformada ou um ponto de extremidade inacessível. Como a validação de DTD é separada da avaliação do XPath, as consultas que já obtiveram êxito retornam os mesmos resultados de antes. Agora, as consultas que falharam anteriormente somente durante a recuperação de DTD externo podem ser bem-sucedidas.

Preservação de struct NULL em INSERT, MERGE e gravações de streaming com evolução do esquema

Para INSERT, MERGE e gravações de streaming que usam a evolução do esquema, um struct NULL na origem agora é armazenado como NULL no destino. Anteriormente, esse valor era materializado incorretamente como um struct não nulo com cada campo definido como NULL, enquanto as mesmas operações sem evolução de esquema preservavam corretamente os structs NULL. Se seu código dependesse de receber um struct não nulo cujos campos eram todos NULL, atualize seu código para manipular um struct NULL.

Suporte a NullType (VOID) em tabelas Delta

As Tabelas Delta agora dão suporte a colunas VOID (NullType do Spark). VOID as colunas não são mais removidas do esquema de tabela após as leituras. As gravações não são afetadas. Consulte o VOID tipo para restrições sobre onde VOID colunas podem aparecer no esquema.

SHOW CREATE TABLE suporta exibições de métrica

SHOW CREATE TABLE agora dá suporte a exibições de métrica. Anteriormente, a execução desse comando em uma exibição de métrica gerava um erro. A saída para exibições de métrica inclui o nome de três partes totalmente qualificado com catálogo (por exemplo, CREATE VIEW catalog.db.my_metric_view ...), facilitando a recriação da exibição de métrica no local correto.

Correção para linhas de remoção LEFT OUTER JOIN LATERAL

Um bug que retirou incorretamente linhas de LEFT OUTER JOIN LATERAL consultas agora é corrigido. As consultas que usam esse constructo agora retornam os resultados corretos. Para reverter temporariamente para o comportamento anterior, defina spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic como true.

Natural JOIN respeita correspondência de colunas que não diferenciam maiúsculas de minúsculas

NATURAL JOIN agora usa corretamente a correspondência de colunas que não diferencia maiúsculas de minúsculas quando spark.sql.caseSensitive é definido como false (o padrão). Anteriormente, NATURAL JOIN usava comparação sensível a maiúsculas e minúsculas para identificar colunas comuns, fazendo com que colunas que diferem apenas nas letras maiúsculas e minúsculas (por exemplo, ID versus id) não fossem reconhecidas como correspondentes. Isso causou NATURAL JOIN a gerar silenciosamente resultados de junção cruzada. Essa correção alinha o comportamento do NATURAL JOIN com USING junções, que já lidavam corretamente com a insensibilidade a maiúsculas e minúsculas. As consultas afetadas por esse bug agora retornam resultados corretos com colunas unidas corretamente.

Validação de dependência do UDF do SQL no Catálogo do Unity

O Unity Catalog agora impõe a validação de dependência para UDFs (funções definidas pelo usuário) do SQL para impedir o bypass de controles de acesso. Anteriormente, as funções SQL criadas por meio da API REST podiam referenciar dependências às quais o usuário não tinha acesso. UDFs do SQL com configurações de dependência inválidas agora estão bloqueadas da execução.

Gravações otimizadas para tabelas particionadas no Unity Catalog criadas com CRTAS

Gravações otimizadas agora são aplicadas corretamente às tabelas particionadas do Unity Catalog criadas com CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Anteriormente, o CRTAS em novas tabelas particionadas do Catálogo do Unity não aplicava gravações otimizadas, resultando em um número maior de arquivos pequenos por partição. Essa correção pode aumentar a latência de gravação. Para reverter para o comportamento anterior, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled como false.

As dependências do SDK v1 do AWS são sombreadas

As dependências do SDK do AWS v1 agrupadas com o Databricks Runtime agora são sombreadas e não estão mais diretamente disponíveis no classpath. Se o código depender das bibliotecas do SDK do AWS v1 fornecidas anteriormente pelo Databricks Runtime, adicione-as como dependências explícitas em seu projeto. Essa alteração se prepara para a migração para o SDK do AWS v2, após o fim do suporte do AWS para o SDK v1.

Corrigir a autoridade de EPSG incorreta para o SRID 102100 definido por ESRI

O mapeamento crs (sistema de referência de coordenadas) para SRID 102100 agora usa ESRI:102100 corretamente em vez do incorreto EPSG:102100. Essa correção garante que os dados geoespaciais sejam armazenados com a autoridade correta para melhor interoperabilidade com outros sistemas.

Novos recursos e melhorias

• Suporte para CREATE OR REPLACE em tabelas temporárias
• agg() alias da função measure()
• Atualização do driver JDBC do Snowflake
• pyspark.pipelines.testing alias do namespace
• Aprimoramento no desempenho da listagem do Carregador Automático
• O histórico da tabela Delta inclui sinalizadores de opção de gravação
• Suporte de repetição e retrocesso de streaming estruturado

SUPORTE PARA CRIAR OU SUBSTITUIR tabelas temporárias

CREATE OR REPLACE TEMP TABLE A sintaxe agora tem suporte, permitindo que você crie ou substitua tabelas temporárias em uma única instrução. Isso elimina a necessidade de descartar e recriar explicitamente tabelas temporárias.

agg() apelido para a função measure()

agg() agora está disponível como um alias para a measure() função. Essa alteração é totalmente compatível com versões anteriores. As consultas existentes que usam measure() continuam funcionando sem modificação e agg() produzem resultados idênticos quando usadas com os mesmos argumentos.

Atualização do driver JDBC do Snowflake

O driver JDBC snowflake é atualizado de 3.22.0 para 3.28.0.

pyspark.pipelines.testing alias do namespace

pyspark.pipelines.testing agora está disponível como um alias de conveniência para dlt.testing APIs. Importe os utilitários de teste de pipeline do Lakeflow Spark Declarative Pipelines através de qualquer um dos namespaces.

Aperfeiçoamento no desempenho da listagem do Carregador Automático

O Carregador Automático agora usa um método de listagem mais eficiente que melhora a velocidade de listagem para fontes de armazenamento em nuvem. Se os gatilhos de fluxo se sobrepõem devido a operações de listagem de execução prolongada, essa otimização poderá aumentar os custos da API de listagem na nuvem. Monitore os intervalos de gatilho e ajuste o agendamento para evitar operações sobrepostas se forem observados aumentos de custos.

O histórico da tabela Delta inclui sinalizadores de opção de gravação

O histórico da tabela Delta (DESCRIBE HISTORY) agora inclui flags de opções de gravação na coluna operationParameters para as operações WRITE e REPLACE TABLE. Quando as opções a seguir estão explicitamente habilitadas, elas aparecem como sinalizadores boolianos no histórico (incluídos somente quando true):

Para WRITE e REPLACE TABLE operações:

• isDynamicPartitionOverwrite: presente quando o modo dinâmico de substituição de partição foi usado
• canOverwriteSchema: presente quando a substituição de esquema (overwriteSchema) foi habilitada
• canMergeSchema: presente quando a mesclagem de esquema (mergeSchema) foi habilitada

Para REPLACE TABLE operações:

• predicate: presente quando replaceWhere foi usado
• isV1WriterSaveAsTableOverwrite: presente quando a substituição foi disparada por uma .saveAsTable sobrescrita

Suporte para retroceder e reexecutar no streaming estruturado

O Streaming Estruturado agora dá suporte a rebobinamento e reprodução para pipelines de streaming. Esse recurso permite que o reprocessamento de um ponto anterior no fluxo recupere-se de falhas como alterações de esquema, dados de entrada malformados ou erros lógicos, sem a necessidade de uma redefinição de estado completa. Isso não modifica o comportamento padrão das cargas de trabalho de streaming existentes.

Atualizações de biblioteca

• Bibliotecas de Python atualizadas:

  Nenhuma biblioteca foi atualizada nesta versão.

• Bibliotecas R atualizadas:

  Nenhuma biblioteca foi atualizada nesta versão.

• Bibliotecas de Java atualizadas:

  • io.delta.delta-sharing-client_2.13 de 1.3.9 para 1.3.10

Apache Spark

O Databricks Runtime 18.2 inclui o Apache Spark 4.1.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 18.1, bem como as seguintes correções de bug adicionais e melhorias feitas no Spark:

• SPARK-56219 Reverter "[SC-225028][PS] Alinhar groupby idxmax e idxmin skipna=Comportamento falso com pandas 2/3"
• SPARK-56204 Remover Alias wrappers de expressões de linha de tabela embutidas no analisador
• SPARK-56186 Desativar pypy
• SPARK-56202 Refatorar testes de junção de streaming: dividir a hierarquia base/suite e simplificar a expedição de modo
• SPARK-56221 Paridade de recursos entre comandos spark.catalog.* vs DDL
• SPARK-56301 Corrigir erros de digitação em error-conditions.json
• SPARK-55729 Dar suporte ao leitor de fonte de dados de estado para o novo formato de estado v4 na junção de fluxo de fluxo
• SPARK-56256 Adicionar a API EmptyDataFrame ao SparkSession
• SPARK-56205 Validar a ID do ponto de verificação do repositório de estado base antes de confirmar a microbatch
• SPARK-55827 Corrigir dica de tipo para trabalhadores de fonte de dados
• SPARK-55579 Renomear classes de erro do PySpark para serem independentes de tipo eval
• SPARK-56247 Corrigir o comportamento de fall back e a dica de tipo de inheritable_thread_target
• SPARK-56244 Refinar o layout da classe de parâmetro de comparação no bench_eval_type.py
• SPARK-56262 Remover a verificação de mypy desnecessária desabilitada para tipos
• SPARK-55969 regr_r2 deve tratar o primeiro parâmetro como variável dependente
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipo – parte 3
• SPARK-55630 Ignorar a atualização do sinalizador correspondente para o lado não externo no stream-stream join v4
• SPARK-56217 Corrigir exceções bucketBy na conexão
• SPARK-56225 Melhorar a mensagem de erro de View com EVOLUÇÃO SCHEMA
• SPARK-55865 Renomear _LEGACY_ERROR_TEMP_1266 para CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Renomear _LEGACY_ERROR_TEMP_2045 para UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Usar ArrowBatchTransformer.enforce_schema para substituir a lógica de coerção de tipo em nível de coluna
• SPARK-56245 Corrigir a atribuição inplace DataFrame.eval no pandas 3
• SPARK-56062 Isolar o memory_profiler para melhorar o tempo de importação
• O catálogo do sistema SPARK-55964 tem precedência sobre o catálogo de usuário para os esquemas BUILTIN e SESSION.
• SPARK-56226 Capturar erros de análise antes de InternalFrame.__init__ em .loc
• SPARK-55723 Generalizar enforce_schema erro para PySparkTypeError
• SPARK-54878 Adicionar a opção sortKeys à função to_json
• SPARK-56219 Alinhar o comportamento groupby idxmax e idxmin skipna=False com pandas 2/3
• SPARK-44065 Otimizar a distorção de BroadcastHashJoin em OptimizeSkewedJoin
• SPARK-56179 Reverter "[SC-225014][PYTHON] Consolidar classes de erro para incompatibilidade de tipo - parte 3"
• SPARK-53399 UDFs de mesclagem Python
• SPARK-56224 Anotações de tipo polonês para accumulators.py
• SPARK-55448 Corrigir a perda de eventos de consulta quando a sessão for fechada durante a execução da consulta
• SPARK-55862 Renomear _LEGACY_ERROR_TEMP_2027 para UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Execute testes SPARK-49829 com junções VCF agora que o StateDataSource dá suporte a eles
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipo – parte 3
• SPARK-56184 Substituir assert por adequado SparkRuntimeException na análise de colunas de partição
• SPARK-56206 Corrigir detecção de nome CTE duplicada que não diferencia maiúsculas de minúsculas
• SPARK-55866 Renomear _LEGACY_ERROR_TEMP_2145 para OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Importar psutil lento para melhorar a velocidade de importação
• SPARK-56066 Numpy de importação lenta para melhorar a velocidade de importação
• SPARK-55719 Remova o aviso de descontinuação para spark.sql.hive.convertCTAS
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipo – parte 2
• SPARK-55510 Atualizar o documento structured-streaming-state-data-source.md para refletir deleteRange
• SPARK-56050 Resolver de forma antecipada IDENTIFIER() com literais de string no momento da análise
• SPARK-56151 Melhorar a cadeia de caracteres de exibição CreateVariable
• SPARK-55751 Adicionar métricas nas cargas do repositório de estado a partir do DFS
• SPARK-56188 Alinhar Series.map({}) com o comportamento de dicionário vazio do Pandas 3
• SPARK-55964 Reverter "[SC-223957] catálogo do sistema tem precedência sobre o catálogo de usuário nos esquemas BUILTIN e SESSION."
• SPARK-55577 Refatorar a lógica de wrapper, mapeador e serializador SQL_SCALAR_ARROW_ITER_UDF
• SPARK-55596 Filtragem de estatísticas de partição aprimorada DSV2
• SPARK-56179 Reverter "[SC-224777][PYTHON] Consolidar classes de erro para incompatibilidade de tipo - parte 2"
• O catálogo do sistema SPARK-55964 tem precedência sobre o catálogo de usuário para os esquemas BUILTIN e SESSION.
• SPARK-56050 Reverter "[SC-224153][SQL] Resolver de forma imediata IDENTIFIER() com literais de string em tempo de análise"
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipo – parte 2
• SPARK-56102UnionEstimation limpeza de código
• SPARK-51712 Ignorar exceções não fatais ao resolver tabelas/views em spark.catalog.listTables()
• SPARK-55881 Adicionar queryId, errorMessage e rootExecutionId à API REST de execução do SQL
• SPARK-56050 Resolver de forma antecipada IDENTIFIER() com literais de string no momento da análise
• SPARK-55628 Integrar o formato de estado da junção entre fluxos V4
• SPARK-56187 Corrigir a ordenação de nulos em Series.argsort para pandas 3
• SPARK-56167 Alinhar o astype com o comportamento de cadeia de caracteres padrão do Pandas 3
• SPARK-56018 Usar o ruff como formatador
• SPARK-56042 Corrigir métricas de contagem de famílias de colunas externas/internas invertidas no RocksDBStateStoreProvider
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipo – parte 1
• SPARK-56089 Alinhar asinh/acosh com o algoritmo fdlibm para compatibilidade entre motores de execução
• SPARK-55453 Corrigir a correspondência de padrões LIKE para caracteres Unicode suplementares
• SPARK-52785 Simplificando a sintaxe super() no PySpark
• SPARK-56169 Correção ClassCastException no relatório de erros quando GetStructField o tipo filho é alterado pela transformação do plano
• SPARK-55557 Funções hiperbólicas não devem causar overflow com entradas grandes
• SPARK-47997 Adicionar parâmetro de erros a DataFrame.drop e Series.drop
• SPARK-55008 Exibir iD de consulta no SparkUI
• SPARK-54660 Adicionar gatilho RTM ao Python
• SPARK-56047 Propagar distinctCount pela União na estimativa de estatísticas do CBO
• SPARK-56111 Adicionar SparkContext.isDriver() e usá-lo na base de código
• SPARK-55999 Habilitar forceSnapshotUploadOnLag por padrão
• SPARK-55610 Adicionar getExecutorInfos ao StatusTracker no Python
• SPARK-55728 Introduza a configuração de parâmetro para o tamanho do pool de threads de verificação de arquivos e suporte para desabilitar o pool de threads
• SPARK-55686 SizeEstimator cuida de cabeçalhos de objeto compactos
• SPARK-56044 HistoryServerDiskManager não exclui o armazenamento de aplicações na liberação quando o aplicativo não está no mapa ativo
• SPARK-55809 HeapHistogram usa DiagnosticCommandMBean em vez de subprocesso jmap
• SPARK-56122 Usar a verificação de tipo numérico com reconhecimento de pandas em Series.cov
• SPARK-56113 Melhorar a restauração de strings no pandas 3 em pandas-on-Spark
• SPARK-56118 Igualar o tratamento de tipos booleanos no pandas 3.0 em GroupBy.quantile
• SPARK-53823 Implementar a lista de permissões para o modo em tempo real
• SPARK-55977 Corrigir a função isin() para usar correspondência estrita de tipos como o pandas
• SPARK-54027 Suporte ao RTM de origem do Kafka
• SPARK-50284 Alterar documentos para a função parseJson
• SPARK-56035 [SQL] Introduza AggregationValidator para validação de resolvedor Aggregate de passagem única
• SPARK-55557 Reverter "[SC-223720][SQL] As funções hiperbólicas não devem causar overflow com entradas grandes"
• SPARK-56075 Remover um lote de classes de erro do Python mortas
• SPARK-55967 Unificar conversão de coluna para o dataframe de conexão
• SPARK-53915 Adicionar RealTimeScanExec e capacidade de executar lotes de execução longa
• SPARK-55557 Funções hiperbólicas não devem transbordar com entradas grandes
• SPARK-55147 Delimitação do intervalo de carimbo de data/hora para recuperação de união para intervalo de tempo no formato de estado V4
• SPARK-56056 Dar suporte à criação de perfil de trabalho mais simples com o viztracer
• SPARK-55948 Adicionar a API do conector CDC DSv2, a resolução do analisador e a cláusula SQL CHANGES
• SPARK-54599 Reaplicar "[SC-219008][PYTHON] Refatorar PythonExcept...
• SPARK-55390 Consolidar a lógica de wrapper, mapeador e serializador do SQL_SCALAR_ARROW_UDF
• SPARK-56023 Melhor balanceamento de carga em LowLatencyMemoryStream
• SPARK-55986 Atualizar Black para 26.3.1
• SPARK-55667 Mover check_dependencies para init
• SPARK-55145 Suporte ao Avro para codificadores de chaves de estado do RocksDB baseados em timestamp
• SPARK-53970 Remova a marca "opcional" incorreta para messageName...
• SPARK-55059 Reverter "[SC-224058][PYTHON] Remover solução alternativa de tabela vazia em toPandas"
• SPARK-50111 Adicionar suporte a subgráficos para gráficos de pizza no backend do Plotly
• SPARK-56081 Alinhar a manipulação do Idxmax e do Idxmin NA com o pandas 3
• SPARK-56080 Alinhar Series.argmax/argmin com a manipulação de NA do Pandas 3.0
• SPARK-56060 Gerenciar a conversão de string nula do Pandas 3 em describe() para quadros de carimbo de data/hora vazios
• SPARK-55059 Remover solução alternativa de tabela vazia em toPandas
• SPARK-55995 Suporte a TIMESTAMP COM FUSO HORÁRIO LOCAL na sintaxe SQL
• SPARK-55976 Usar Set em vez de Seq para privilégios de gravação
• SPARK-56073 Simplificar a compilação de PythonRunnerConfMap
• SPARK-55887 Tratamento especial para CollectLimitExec/CollectTailExec evitar a verificação completa das tabelas
• SPARK-55980 Sempre aplique _cast_back_float em aritmética numérica
• SPARK-55357 Corrigir docstring para timestamp_add
• SPARK-55667 Reverter as mudanças de "[SC-223289][PYTHON][CONNECT] Mover check_dependencies para init"
• SPARK-54285 Reverter "[PYTHON] Armazenar em cache informações de fuso horário para evitar uma conversão de timestamp dispendiosa"
• SPARK-56021 Aumentar o limite de maxChangeFileReplay padrão do AutoSnapshotRepair de 50 para 500
• SPARK-55870 Adicionar documentos para tipos geográficos
• SPARK-55962 Usar getShort em vez de getInt casting em putShortsFromIntsLittleEndian plataformas de Little Endian
• SPARK-55903 Simplificar a evolução do esquema MERGE e verificar privilégios de gravação
• SPARK-55326 Liberar sessão remota quando SPARK_CONNECT_RELEASE_SESSION_ON_EXIT estiver configurada
• SPARK-55667 Mover check_dependencies para init
• SPARK-55884 Adicionar v1StatsToV2Stats ao DataSourceV2Relation
• SPARK-55929 Adicionar método toString() ausente em TableChange.UpdateColumnDefaultValue
• SPARK-55851 Esclarecer tipos de partição e leitura de fonte de dados
• SPARK-55828 Adicionar dSV2 TableChange toString e corrigir a classe de erro ausente para Merge Into Schema Evolution
• SPARK-55790 Criar um registro SRS completo usando dados PROJ 9.7.1
• SPARK-55645 Adicionar serdeName ao CatalogStorageFormat
• SPARK-54796 Correção de NPE causada pela condição de corrida entre a inicialização do Executor e a migração aleatória
• SPARK-55983 Nova funcionalidade de analisador de passagem única e bugfixes
• SPARK-55964 Coerência de cache: limpar registro de função em DROP DATABASE
• SPARK-55868 Corrigir Predicate Pushdown para InMemoryTable para V2Filters
• SPARK-55973 Otimização LeftSemi para junção de fluxo para fluxo
• SPARK-54665 Corrigir a comparação booliana versus cadeia de caracteres para corresponder ao comportamento do pandas
• SPARK-55539 Permitir a conversão de GeographyType para GeometryType
• SPARK-55695 Evitar planejamento duplo em operações de nível de linha
• SPARK-55904 Utilizar _check_same_session para restringir tipos
• SPARK-55965 Adicionar aviso quando pandas >= 3.0.0 é usado com PySpark
• SPARK-55493 [SS] Não mkdirs no diretório de log de deslocamento/confirmação de ponto de verificação de streaming no StateDataSource
• SPARK-55851 Reverter "[SC-223270][PYTHON] Esclarecer tipos de partição de fonte de dados e ler"
• SPARK-55645 Reverter "[SC-221839][SQL] Adicionar serdeName ao CatalogStorageFormat"
• SPARK-55640 Propagação de erros de parsing WKB para Geometria e Geografia
• SPARK-55693 Evite deadlock tornando SparkSession.observationManager um val não preguiçoso
• SPARK-55528 Adicionar suporte de ordenação padrão para UDFs do SQL
• SPARK-55860 Usar UNABLE_TO_INFER_SCHEMA em vez de UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Adicionar códigos de estado SQL InvalidPlanInput para sql/connect
• SPARK-55645 Adicionar serdeName ao CatalogStorageFormat
• SPARK-55716 Suporte à imposição de restrição NOT NULL para inserções de tabela de origem de arquivo V1
• SPARK-53226 Fazer o ClosureCleaner funcionar com Java22+
• SPARK-55997 Definir limite superior para prefixScan no provedor de repositório de estado RocksDB
• SPARK-55851 Esclarecer tipos de partição e leitura de fonte de dados
• SPARK-55954 Remover a indicação de tipo de sobrecarga incorreta para fillna
• SPARK-56016 Preservar colunas de série nomeadas em concat com ignore_index no pandas 3
• SPARK-55502 Unificar o tratamento de erros na conversão de Arrow para UDF e UDTF
• SPARK-55989 Preservar tipos de índice não int64 em restore_index
• SPARK-55955 Remover sugestão de tipo de sobrecarga para drop
• SPARK-55945 [SDP] Dá suporte a identificadores estruturados para fluxos em protos de análise avançada do SDP
• SPARK-55714 O JDK pode gerar ArithmeticException sem mensagem
• SPARK-55991 Corrigir corrupção de texto SQL relacionado ao unicode com parâmetros
• SPARK-55696 Adicionar erro explícito a Encoders.bean para a classe de interface
• SPARK-55533 Suporte para IGNORAR NULLS/RESPEITAR NULLS para collect_set
• SPARK-55987 Corrigir extração de carimbo de data/hora de junção em janela V4 usando findJoinKeyOrdinalForWatermark
• SPARK-55946 Configurar pandas_priority para que operações binárias mistas sejam despachadas corretamente para pandas-on-Spark
• SPARK-55264 Adicionar o comando ExecuteOutput ao protocolo do pipelines do Spark Connect
• SPARK-47672 Evitar a avaliação dupla do filtro pushDown com pushdown de projeção
• SPARK-55780 Substituir o logotipo PNG pelo SVG na interface do usuário da Web do Spark
• SPARK-55821 Exigir argumentos apenas palavras-chave em métodos de inicialização de serializador
• SPARK-55621 Corrigir o uso unicode ambíguo e desnecessário
• SPARK-55662 Implementação do argumento eixo idxmin
• SPARK-55631ALTER TABLE deve invalidar o cache para tabelas DSv2
• SPARK-55692 Correção de SupportsRuntimeFiltering e da SupportsRuntimeV2Filtering documentação
• SPARK-55928 Novo linter para aumentar a eficácia da configuração em views e UDFs
• SPARK-55440 Estrutura de Tipos – Fase 1a – Base do Sistema de Tipos Principais
• SPARK-55631 Reverter "[SC-221596][SQL] ALTER TABLE deve invalidar o cache para tabelas DSv2"
• SPARK-55631ALTER TABLE deve invalidar o cache para tabelas DSv2
• SPARK-55683 Otimizar VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 Correção de não é possível carregar o repositório de estado porque o arquivo SST reutilizado foi excluído pela manutenção
• SPARK-55946 Reverter alteração de "[SC-223027][PS] Configurar pandas_priority para que operações binárias mistas sejam encaminhadas corretamente para pandas-on-Spark"
• SPARK-55891 Preservar o contexto de script SQL dentro EXECUTE IMMEDIATE
• SPARK-55907 Corrigir posições de erro incorretas para tipos de dados inválidos no CREATE FUNCTION
• SPARK-55946 Configurar pandas_priority para que operações binárias misturadas sejam direcionadas corretamente para pandas-on-Spark
• SPARK-55694 Bloquear restrições no CTAS/RTAS no nível do analisador
• SPARK-55682 O iterador retornado do ServiceLoader pode ser ativado NoClassDefFoundErrorhasNext()
• SPARK-55155 Correção SETCATALOG para usar caracteres especiais e backticks no nome do identificador
• SPARK-55932 Corrigir o travamento do analisador de XML para variante em escala negativa
• SPARK-55673 Adicionar mais testes para o codificador de tipo aninhado
• SPARK-55679 Corrigir a detecção no Java 25
• SPARK-55957 Adicionar 'DATA_SOURCE_NOT_FOUND' em Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Adicionar propriedades AQEShuffleRead à Árvore de Plano Físico
• SPARK-55652VectorizedPlainValuesReader.readShorts() Otimizar com acesso direto à matriz para buffers de heap
• SPARK-55659 Melhorar EventLogFileWriter para registrar a operação stop
• SPARK-54666 Deixar os tipos numéricos inalterados em to_numeric
• SPARK-55654 Habilitar a poda de TreePattern para EliminateSubqueryAliases e ResolveInlineTables
• SPARK-55533 Reverter "[SC-220538][SQL] Suporte a IGNORE NULLS / RESPECT NULLS para collect_set"
• SPARK-55901 Gerar um erro de Series.replace() sem argumentos
• SPARK-55896 Usar funções numpy em vez de builtins
• SPARK-55655 Tornar CountVectorizer o vocabulário determinístico quando as contagens são iguais
• SPARK-55811 [SQL] Catch NonFatal em vez de UnresolvedException ao chamar nodeWithOutputColumnsString
• SPARK-55533 Suporte a IGNORAR NULLS/RESPEITAR NULLS para collect_set
• SPARK-55435 Usar StringBuilder em vez de StringBuffer
• SPARK-54807 Permitir nomes qualificados para funções internas e de sessão (#198171)
• SPARK-55854 Marcar atributos duplicados de passagem em Expandir saída para evitar AMBIGUOUS_REFERENCE
• SPARK-55261 Implementar o suporte de leitura parquet para tipos geográficos
• SPARK-55416 streaming Python perda de memória da fonte de dados quando o deslocamento final não for atualizado
• SPARK-55465 Suporte a GeometryType no convert_numpy
• SPARK-55801 Corrigir dica de tipo de _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Remover a verificação de tipo não utilizado para datetime.date
• SPARK-55663 Unificar módulo para funções de fonte de dados
• SPARK-55665 Unificar como os trabalhadores estabelecem a conexão com o executor
• SPARK-53446 Otimizar operações de remoção do BlockManager com mapeamentos de blocos armazenados em cache
• SPARK-55867 Corrigir StringMethods com pandas 3
• SPARK-55501 Corrigir listagg distinct + dentro da ordem de grupo por bug
• SPARK-55558 Adicionar suporte para operações de conjunto de Tupla/Theta
• SPARK-55636 Adicionar erros detalhados em caso de eliminação de duplicação de colunas inválidas
• SPARK-55788 Suporte a ExtensionDType para inteiros na UDF do Pandas
• SPARK-55464 Suporte a GeographyType no convert_numpy
• SPARK-55530 Suporte a conjuntos de resultados geográficos no hive e servidor Thrift
• SPARK-55525 Corrigir UDTF_ARROW_TYPE_CONVERSION_ERROR com o parâmetro de mensagem de erro indefinido
• SPARK-55626 Não carregue colunas de metadados na Tabela, a menos que seja necessário no V2TableUtil
• SPARK-55533 Reverter o suporte "[SC-220538][SQL] IGNORE NULLS/RESPECT NULLS for collect_set"
• SPARK-55435 Reverter "[SC-219656][CORE][SQL] Usar StringBuilder em vez de StringBuffer"
• SPARK-55533 Suporte a IGNORAR NULLS/RESPEITAR NULLS para collect_set
• SPARK-54452 Corrigir a resposta vazia do servidor SparkConnect para spark.sql(...) dentro do FlowFunction
• SPARK-55638 Refatorar a serialização WKT em GeometryModel
• SPARK-55551 Melhorar BroadcastHashJoinExec o particionamento de saída
• SPARK-54314 Melhorar Server-Side depuração no Spark Connect capturando o nome do arquivo e os números de linha do aplicativo cliente
• SPARK-55517VectorizedPlainValuesReader.readBytes() Otimizar com acesso direto à matriz para buffers de heap
• SPARK-55495 Correção EventLogFileWriters.closeWriter para manipular checkError
• SPARK-55279 Adicionar sketch_funcs grupo para funções SQL do DataSketches
• SPARK-55435 Usar StringBuilder em vez de StringBuffer
• SPARK-55064 Tentativa de embaralhamento indeterminado no nível de consulta de suporte
• SPARK-55411 O SPJ pode gerar ArrayIndexOutOfBoundsException quando as chaves de junção forem menores que as chaves de cluster
• SPARK-55451 Os cursores devem começar a coletar resultados no OPEN, e não no primeiro FETCH
• SPARK-54687 Adicionar mais casos de borda com geradores
• SPARK-55691 Cliente GetStatus
• SPARK-55277 Adicionar protobuf_funcs grupo para funções SQL do Protobuf
• SPARK-55822 Renomear _LEGACY_ERROR_TEMP_0052 para CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Solucionar exceção inesperada em alguns casos de teste CoarseGrainedExecutorBackendSuite
• SPARK-55275 Cobertura do estado SQL: IllegalStateException
• SPARK-55462 Reaplicar "[SC-221123][PYTHON] Suporte VariantType em convert_numpy"
• SPARK-55062 Suporte para extensões proto2 em funções protobuf
• SPARK-55248 Limpar o uso preterido da API de Jackson em streaming.checkpointing.Checksum
• SPARK-55250 Reduzir chamadas de cliente do Hive em CREATE NAMESPACE
• SPARK-55247 Limpar o uso preterido da API relacionado a o.a.c.io.input.BoundedInputStream
• SPARK-55198 spark-sql deve ignorar a linha de comentários com espaços em branco à esquerda
• SPARK-55826 Renomear _LEGACY_ERROR_TEMP_0006 para MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Adicionar avro_funcs grupo para funções SQL do Avro
• SPARK-54914 [SQL] Corrigindo o operador DROP na sintaxe de pipe para dar suporte a nomes de coluna qualificados
• SPARK-55113EnsureRequirements deve copiar tags
• SPARK-55074 Adicionar teste para coerção do tipo Merge Into ANSI
• SPARK-54217 Sincronizar a decisão de encerramento do MonitorThread do PythonRunner
• SPARK-54374 Ampliar o atributo viewBox do SVG na inicialização da visualização de planos SQL
• SPARK-54971 Adicionar sintaxe WITH SCHEMA EVOLUTION para SQL INSERT
• SPARK-55065 Evite fazer duas chamadas à API JDBC
• SPARK-55033 Corrigir stringArgs nos comandos de gravação do DSv2
• SPARK-55041 Limpar alguns privados funcion/val não utilizados do módulo principal
• SPARK-55338 Centralizar a lógica de descompactação da solicitação do Spark Connect no interceptor gRPC
• SPARK-55825 Renomear _LEGACY_ERROR_TEMP_1309 para PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Valide se eventTime in withWatermark é coluna de nível superior
• SPARK-55802 Corrigir estouro de inteiro ao calcular bytes de lote do Arrow
• SPARK-55694 Bloquear restrições no CTAS/RTAS no nível do analisador
• SPARK-55843 Manipular a unidade dos dtypes datetime64 e timedelta64
• SPARK-55824 Renomear _LEGACY_ERROR_TEMP_1034 para WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Refatorar ExpandExec para ser mais sucinto
• SPARK-55341 Adicionar sinalizador de nível de armazenamento para relações locais armazenadas em cache
• SPARK-54599 Reverta "[SC-219008][PYTHON] Refatorar PythonException para que ele possa usar errorClass com sqlstate"
• SPARK-46167 Adicionar implementação de eixo a DataFrame.rank
• SPARK-54599 Refatorar PythonException para que ele possa usar errorClass com sqlstate
• SPARK-55529 Reaplicar [ES-1721989][SC-220716][PYTHON] Restaurar mesclagem em lote no nível de seta para não iterador applyInPandas
• SPARK-55794 Sempre usar alias OuterReferences
• SPARK-55583 Validar tipos de esquema Arrow na fonte de dados Python
• SPARK-37711 Reduzir o número de tarefas do pandas `describe` de O(N) para O(1)
• SPARK-46168 Adicionar argumento de eixo para idxmax
• SPARK-46162 Implementar a função nunique com o parâmetro axis=1
• SPARK-55552 Adicionar suporte para VariantType em ColumnarBatchRow.copy() e MutableColumnarRow
• SPARK-55647 Corrigir ConstantPropagation a substituição incorreta de atributos por ordenações não binárias estáveis
• SPARK-55747 Corrigir NPE ao acessar elementos de uma matriz que é nula
• SPARK-55757 Melhorar a spark.task.cpus validação
• SPARK-55699 Leitura inconsistente de LowLatencyClock quando usada junto com ManualClock
• SPARK-55702 Suporte para predicado de filtro em funções de agregação de janela
• SPARK-55510 Corrigir deleteRange do repositório de estado rocksdb para chamar changelogWriter
• SPARK-55739 Otimizar OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian usando Platform.copyMemory em plataformas little-endian
• SPARK-55730 Não transformar fuso horário em minúsculas
• SPARK-55701 ES-1694761[SS] Corrigir condição de corrida em CompactibleFileStreamLog.allFiles
• SPARK-55462 Reverter "[SC-221123][PYTHON] Dar suporte a VariantType na função convert_numpy"
• SPARK-55144 Introduzir uma nova versão do formato de estado para junção eficaz entre fluxos
• SPARK-55606 Implementação do lado do servidor da API GetStatus
• SPARK-55462 Suporte ao VariantType no convert_numpy
• SPARK-55600 Correção de Pandas para Arrow perde a contagem de linhas quando o esquema tem 0 colunas na versão clássica
• SPARK-55700 Corrigir o tratamento de chaves inteiras em Series com índice não inteiro
• SPARK-55349 Consolidar utilitários de conversão de pandas para Arrow em serializadores
• SPARK-55681 Corrigir a igualdade de DataType singleton após a desserialização (nova tentativa)
• SPARK-55681 Reverter "[SC-221427][SC-214079][SQL] Corrigir a igualdade de DataType singleton após a desserialização"
• SPARK-55681 Corrigir a igualdade singleton DataType após a desserialização
• SPARK-55674 Otimizar a conversão de tabela de 0 colunas no Spark Connect
• SPARK-55323 Reaplicar "[SC-218885][PYTHON] Mover metadados da UDF para evalConf para simplificar o protocolo de trabalho"
• SPARK-55322 Reaplicar [SC-221062][SQL] Sobrecarga maxby e minby com elementos K
• SPARK-55323 Reverter "[SC-218885][PYTHON] Mover metadados UDF para EvalConf para simplificar o protocolo de trabalho"
• SPARK-55615 Mover a importação do SparkContext para o branch de classe
• SPARK-55323 Mover metadados da UDF para evalConf para simplificar o protocolo de trabalho
• SPARK-55648 Manipular um erro groupby(axis) de argumento de palavra-chave inesperado com o pandas 3
• SPARK-55647 Reverter "[SC-221274][SQL] Corrigir ConstantPropagation a substituição incorreta de atributos por ordenações não binárias estáveis"
• SPARK-55646 Refatorado SQLExecution.withThreadLocalCaptured para separar a captura thread-local da execução
• SPARK-54854 Adicionar um UUIDv7 queryId aos eventos de SQLExecution
• SPARK-55619 Corrigir métricas personalizadas no caso de partições coalesced
• SPARK-55647 Corrigir ConstantPropagation a substituição incorreta de atributos por ordenações não binárias estáveis
• SPARK-55322 Reverter "[SC-221062][SQL] MaxBy e MinBy sobrecarga com elementos K"
• SPARK-54740 Iniciar o manipulador de falhas no início do modo daemon
• SPARK-55493 [SS] Não mkdirs no diretório de estado do ponto de verificação de streaming no StateDataSource
• SPARK-55322MaxBy e MinBy sobrecarga com elementos K
• SPARK-55625 Corrigir StringOps para fazer o str dtype funcionar corretamente
• SPARK-55161 Reaplicar "[SC-218867][PYTHON] Suporte para perfis em fonte de dados Python"
• SPARK-55505 Corrigir NPE ao ler EXECUTION_ROOT_ID_KEY em cenários simultâneos
• SPARK-55111 Verificar novamente a detecção de repartição inacabada na reinicialização da consulta
• SPARK-55593 Unificar o estado de agregação para vector_avg/vector_sum
• SPARK-55500 Corrigir o ciclo do analisador entre ApplyDefaultCollatione ExtractWindowExpressionsCollationTypeCasts
• SPARK-55494 Introduzir iterador/prefixOcano com vários valores na API StateStore
• SPARK-55561 Adicionar novas tentativas para todos os métodos de cliente administrador do Kafka
• SPARK-55296 Suporte ao modo CoW com pandas 3
• SPARK-55479 Corrigir problemas de estilo no SparkShreddingUtils
• SPARK-55372 Correção SHOW CREATE TABLE para tabelas/exibições com ordenação padrão
• SPARK-55333 Habilitar DateType e TimeType em convert_numpy
• SPARK-55129 Introduzir novos codificadores de chave para carimbo de data/hora como uma primeira classe (UnsafeRow)
• SPARK-46163 Parâmetros dataFrame.update filter_func e erros
• SPARK-55372 Reverter "[SC-220571][SQL] Corrigir SHOW CREATE TABLE para tabelas/visões com ordenação padrão"
• SPARK-55480 Remover todas as 'noqa' não utilizadas para o Ruff
• SPARK-55471 Adicionar suporte de otimizador para SequentialStreamingUnion
• SPARK-55584 Produzir uma mensagem de erro mais clara na subconsulta escalar para EXEC IMMEDIATE
• SPARK-55161 Reverter "[SC-218867][PYTHON] Suporte a profiladores na fonte de dados do Python"
• SPARK-55506 Passar o esquema de entrada explícito para to_pandas dentro CogroupPandasUDFSerializer
• SPARK-55586 Adicionar jdbc.py exemplo
• SPARK-55161 Suporte a ferramentas de perfilagem na fonte de dados em Python
• SPARK-55529 Reverter "[SC-220716][PYTHON] Restaurar mesclagem em lote no nível de seta para não iterador applyInPandas"
• SPARK-55385 Atenuar a recomputação em zipWithIndex
• SPARK-55529 Restaurar mesclagem em lotes no nível de Arrow para applyInPandas sem iterador
• SPARK-55389 Consolidar SQL_MAP_ARROW_ITER_UDF a lógica de envoltório, mapeador e serializador
• SPARK-55406 Reimplementar o pool de threads para ExecutePlanResponseReattachableIterator
• SPARK-55372 Correção SHOW CREATE TABLE para tabelas/visões com ordenação padrão
• SPARK-55367 Usar venv para os testes run-pip
• SPARK-55355 Atualizar a versão do mypy para a mais recente
• SPARK-55460 Remover o E203 da lista de exclusão do ruff
• SPARK-55541 Suporte a Geometria e Geografia em conversores de tipo de catalisador
• SPARK-55449 Habilitar a análise e gravação do WKB para Geografia
• SPARK-55339 Implementar o suporte de gravador WKT para objetos geográficos
• SPARK-54122 Implementar o TwsTester no Scala
• SPARK-54805 Implementar o TwsTester no PySpark
• SPARK-55256 Reaplicar "[SC-218596][SQL] Suporte IGNORE NULLS/RESPECT NULLS para array_agg e collect_list"
• SPARK-55156 Gerenciar include_groups para groupby.apply
• SPARK-55401 Adicionar lógica de repetição e tratamento de tempo limite ao download de instalação do pyspark
• SPARK-55229 Implementar DataFrame.zipWithIndex no PySpark
• SPARK-55462 Suporte a UserDefinedType no convert_numpy
• SPARK-55483 Corrigir NPE em PivotFirst quando a coluna de pivô é um tipo não atômico com valores nulos
• SPARK-55490 Fazer com que groupby(as_index=False) inclua um agrupamento que não está presente no DataFrame com pandas 3
• SPARK-55473 Substituir itertools.tee por cadeia em applyInPandasWithState
• SPARK-55404 Sempre gerar KeyboardInterrupt do manipulador SIGINT
• SPARK-55407 Substituir logger.warn por logger.warning

Suporte ao driver ODBC/JDBC do Databricks

O Databricks dá suporte a drivers ODBC/JDBC lançados nos últimos 2 anos. Baixe os drivers e a atualização lançados recentemente (baixe o ODBC, baixe o JDBC).

Ambiente do sistema

• Sistema operacional: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Scala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Bibliotecas de Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas do CRAN instantâneo do Posit Gerenciador de Pacotes em 20-11-2025.

Bibliotecas Java e Scala instaladas (versão do cluster Scala 2.13)