Databricks Runtime 18.2 (Beta)

As notas de atualização seguintes fornecem informações sobre o Databricks Runtime 18.2 (Beta).

Esta versão incorpora todas as funcionalidades, melhorias e correções de bugs de todas as versões anteriores do Databricks Runtime. A Databricks lançou esta versão em abril de 2026.

Mudanças comportamentais

• O XPath já não recupera DTDs externos
• Preservação de estruturas NULL em INSERT, MERGE, e escritas de streaming com evolução de esquema
• Suporte NullType (VOID) em tabelas Delta
• SHOW CREATE TABLE suporta vistas métricas
• Correção para as linhas de descida do LADO EXTERIOR JOIN ESQUERDO
• NATURAL JOIN respeita a correspondência de colunas sem distinção de maiúsculas e minúsculas
• Validação de dependências SQL UDF no Unity Catalog
• Escritas otimizadas para tabelas particionadas do Unity Catalog criadas com CRTAS
• As dependências do AWS SDK v1 são sombreadas
• Corrigir a autoridade incorreta do EPSG para o SRID 102100 definido pelo ESRI

O XPath já não recupera DTDs externos

Quando avalia XPath sobre XML, Azure Databricks já não carrega as Definições de Tipo de Documento (DTDs) externas declaradas no documento. Anteriormente, o XPath podia falhar quando o XML continha uma referência DTD externa que apontava para uma URL deformada ou um endpoint inacessível. Como a validação DTD é separada da avaliação XPath, as consultas que já tiveram sucesso retornam os mesmos resultados de antes. Consultas que antes falhavam apenas durante a recuperação externa de DTD podem agora ter sucesso.

Preservação de estruturas NULL em INSERT, MERGE, e escritas em fluxo contínuo com evolução de esquema

Para INSERT, MERGE, e operações de escrita em streaming que utilizam evolução de esquema, uma struct NULL na origem é agora armazenada como NULL no destino. Anteriormente, esse valor era materializado incorretamente como uma estrutura não nula com cada campo definido como NULL, enquanto as mesmas operações sem evolução do esquema preservavam corretamente as estruturas NULLA. Se o teu código dependia de receber uma estrutura não-nula cujos campos fossem todos NULL, atualiza o teu código para gerir uma estrutura NULL em vez disso.

Suporte NullType (VOID) em tabelas Delta

As tabelas Delta agora suportam colunas VOID (do Spark NullType). VOID as colunas já não são removidas do esquema da tabela durante a leitura. As operações de escrita não são afetadas. Consulte o tipo de VOID para restrições sobre onde colunas VOID podem aparecer no esquema.

SHOW CREATE TABLE suporta vistas métricas

SHOW CREATE TABLE Agora suporta vistas métricas. Anteriormente, executar este comando numa vista métrica gerava um erro. A saída para vistas métricas inclui o nome totalmente qualificado em três partes com catálogo (por exemplo, CREATE VIEW catalog.db.my_metric_view ...), facilitando a recriação da vista métrica na localização correta.

Correção para as linhas de descida do LADO EXTERIOR JOIN ESQUERDO

Um bug que eliminava linhas incorretamente das LEFT OUTER JOIN LATERAL consultas foi agora corrigido. As consultas que usam este construto agora retornam os resultados corretos. Para reverter temporariamente ao comportamento anterior, defina spark.databricks.sql.optimizer.lateralJoinPreserveOuterSemantic para true.

NATURAL JOIN respeita a correspondência de colunas sem diferenciar maiúsculas de minúsculas

NATURAL JOIN agora utiliza corretamente a correspondência de colunas sem distinção entre maiúsculas e minúsculas quando spark.sql.caseSensitive está configurado para false (o padrão). Anteriormente, NATURAL JOIN usava comparação sensível a maiúsculas e minúsculas para identificar colunas comuns, levando a que colunas que apenas diferiam em termos de maiúsculas e minúsculas (por exemplo, ID versus id) não fossem reconhecidas como correspondentes. Isto causou NATURAL JOIN a produzir silenciosamente resultados de junção cruzada. Esta correção alinha o comportamento de NATURAL JOIN com USING as junções, que já lidavam corretamente com a insensibilidade a maiúsculas e minúsculas. As consultas afetadas por este bug agora retornam resultados corretos com colunas devidamente unidas.

Validação de dependências SQL UDF no Unity Catalog

O Unity Catalog agora impõe validação de dependências para funções SQL definidas pelo utilizador (UDFs) para evitar o desvio de controlo de acesso. Anteriormente, as funções SQL criadas através da API REST podiam referenciar dependências às quais o utilizador não tinha acesso. Os UDFs SQL com configurações de dependência inválidas estão agora bloqueados da execução.

Gravações otimizadas para tabelas particionadas do Unity Catalog criadas com CRTAS

As operações de escrita otimizadas agora são corretamente aplicadas às tabelas particionadas do Unity Catalog criadas com CREATE OR REPLACE TABLE ... AS SELECT (CRTAS). Anteriormente, o CRTAS em novas tabelas particionadas do Unity Catalog não aplicava escritas otimizadas, resultando num maior número de ficheiros pequenos por partição. Esta correção pode aumentar a latência de escrita. Para reverter ao comportamento anterior, defina spark.databricks.delta.optimizeWrite.UCTableCRTAS.enabled para false.

As dependências do AWS SDK v1 são sombreadas

As dependências do AWS SDK v1 incluídas com o Databricks Runtime estão agora sombreadas e já não estão diretamente disponíveis no classpath. Se o seu código depende das bibliotecas AWS SDK v1 previamente fornecidas pelo Databricks Runtime, adicione-as como dependências explícitas no seu projeto. Esta alteração prepara a migração para o AWS SDK v2, após o fim do suporte AWS para o SDK v1.

Corrigir a autoridade incorreta do EPSG para o SRID 102100 definido pelo ESRI

O mapeamento do Sistema de Referência de Coordenadas (CRS) para SRID 102100 usa agora corretamente ESRI:102100 em vez do incorreto EPSG:102100. Esta solução garante que os dados geoespaciais são armazenados com a autoridade correta para uma melhor interoperabilidade com outros sistemas.

Novos recursos e melhorias

• CRIAR OU SUBSTITUIR suporte para tabelas temporárias
• agg() Alias para measure() função
• Atualização do driver Snowflake JDBC
• pyspark.pipelines.testing Alias de espaço de nomes
• Desempenho melhorado na listagem do Auto Loader
• O histórico da tabela Delta inclui indicadores de opção de escrita
• Suporte para rebobinar e repetir Streaming Estruturado

CRIAR OU SUBSTITUIR suporte para tabelas temporárias

CREATE OR REPLACE TEMP TABLE A sintaxe é agora suportada, permitindo criar ou substituir tabelas temporárias numa única instrução. Isto elimina a necessidade de eliminar e recriar tabelas temporárias explicitamente.

agg() Alias para measure() função

agg() está agora disponível como um pseudónimo para a measure() função. Esta alteração é totalmente retrocompatível. As consultas existentes que usam measure() continuam a funcionar sem modificações e agg() produzem resultados idênticos quando usadas com os mesmos argumentos.

Atualização do driver Snowflake JDBC

O driver Snowflake JDBC foi atualizado de 3.22.0 para 3.28.0.

pyspark.pipelines.testing Alias de espaço de nomes

pyspark.pipelines.testing está agora disponível como um alias de conveniência para dlt.testing APIs. Importar utilidades de teste de pipeline Lakeflow Spark Declarative Pipelines através de qualquer um dos namespaces.

Melhoria no desempenho da listagem do Auto Loader

O Auto Loader utiliza agora um método de listagem mais eficiente que melhora a velocidade de listagem para fontes de armazenamento na cloud. Se o seu fluxo desencadear sobreposição devido a operações de listagem prolongadas, esta otimização pode resultar num aumento dos custos da API de listagem na cloud. Monitorize os intervalos de gatilho e ajuste o agendamento para evitar operações sobrepostas caso se observem aumentos de custo.

O histórico da tabela Delta inclui flags de opção de escrita

Histórico da tabela Delta (DESCRIBE HISTORY) agora inclui flags de opção de escrita na coluna operationParameters para operações de WRITE e REPLACE TABLE. Quando as seguintes opções estão explicitamente ativadas, aparecem como bandeiras booleanas no histórico (só incluídas quando true):

Para as operações WRITE e REPLACE TABLE:

• isDynamicPartitionOverwrite: presente quando foi usado o modo de sobrescrição de partição dinâmica
• canOverwriteSchema: presente quando a sobrescrição de esquema (overwriteSchema) foi ativada
• canMergeSchema: presente quando a fusão de esquema (mergeSchema) foi ativada

Para REPLACE TABLE operações:

• predicate: presente quando replaceWhere era usado
• isV1WriterSaveAsTableOverwrite: presente quando a substituição foi acionada por uma .saveAsTable sobrescrição

Suporte para retrocesso e repetição do Structured Streaming

Structured Streaming agora suporta voltar e rever para pipelines de streaming. Esta funcionalidade permite o reprocessamento a partir de um ponto anterior do fluxo para recuperar de falhas como alterações de esquema, dados de entrada deformados ou erros lógicos, sem necessidade de um reset total do estado. Isto não modifica o comportamento padrão das cargas de trabalho de streaming existentes.

Atualizações da biblioteca

• Bibliotecas Python melhoradas:

  Nenhuma biblioteca foi atualizada nesta versão.

• Bibliotecas R atualizadas:

  Nenhuma biblioteca foi atualizada nesta versão.

• Bibliotecas Java atualizadas:

  • io.delta.delta-sharing-client_2.13 de 1.3.9 a 1.3.10

Apache Spark

O Databricks Runtime 18.2 inclui o Apache Spark 4.1.0. Esta versão inclui todas as correções e melhorias do Spark incluídas no Databricks Runtime 18.1, bem como as seguintes correções adicionais de bugs e melhorias feitas ao Spark:

• SPARK-56219 Revert "[SC-225028][PS] Alinhar groupby idxmax e idxmin skipna=Comportamento falso com pandas 2/3"
• SPARK-56204 Remover wrappers de expressões de linha de tabela inline no analisador
• SPARK-56186 Descontinuar o PyPy
• SPARK-56202 Refatorar testes de junção em streaming: dividir a hierarquia Base/Suite e simplificar o despacho de modos
• SPARK-56221 Paridade de funcionalidades entre spark.catalog.* e comandos DDL
• SPARK-56301 Corrigir erros tipográficos em error-conditions.json
• SPARK-55729 Leitor de suporte para fonte de dados de estado para novo formato de estado v4 em junções de fluxo-fluxo
• SPARK-56256 Adicionar a API emptyDataFrame ao SparkSession
• SPARK-56205 Validar o ID do checkpoint do armazenamento do estado base antes de confirmar o microbatch
• SPARK-55827 Corrigir a dica de tipo para processos de fontes de dados
• SPARK-55579 Renomear as classes de erro PySpark para serem agnósticas ao tipo de avaliação
• SPARK-56247 Corrigir o comportamento de fallback e a indicação de tipo de inheritable_thread_target
• SPARK-56244 Refinar o layout das classes de referência em bench_eval_type.py
• SPARK-56262 Remover a desativação desnecessária do mypy check para tipos
• SPARK-55969 regr_r2 deve tratar o primeiro param como variável dependente
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipos - parte 3
• SPARK-55630 Ignorar a atualização do indicador correspondente para o lado interno na união de fluxos v4
• SPARK-56217 Corrigir exceções bucketBy na ligação
• SPARK-56225 Melhorar a mensagem de erro ao visualizar com evolução SCHEMA
• SPARK-55865 Renomear _LEGACY_ERROR_TEMP_1266 para CANNOT_TRUNCATE_EXTERNAL_TABLE
• SPARK-55861 Renomear _LEGACY_ERROR_TEMP_2045 para UNSUPPORTED_TABLE_CHANGE
• SPARK-56166 Usar ArrowBatchTransformer.enforce_schema para substituir a lógica de coerção de tipos por coluna
• SPARK-56245 Corrigir atribuição inplace do DataFrame.eval no pandas 3
• SPARK-56062 Isolar memory_profiler para melhorar o tempo de importação
• O catálogo do sistema SPARK-55964 tem precedência sobre o catálogo de utilizadores para os esquemas BUILTIN e SESSION.
• SPARK-56226 Erros de análise de captura antes InternalFrame.__init__ em .loc
• SPARK-55723 Generalizar o erro enforce_schema para PySparkTypeError
• SPARK-54878 Adicionar a opção sortKeys à to_json função
• SPARK-56219 Align groupby idxmax e idxmin skipna=Comportamento falso com pandas 2/3
• SPARK-44065 Otimizar o desvio de BroadcastHashJoin em OptimizeSkewedJoin
• SPARK-56179 Reverter "[SC-225014][PYTHON] Consolidar classes de erro para incompatibilidade de tipos - parte 3"
• SPARK-53399 Fusão dos UDFs de Python
• SPARK-56224 Aperfeiçoar anotações de tipo para accumulators.py
• SPARK-55448 Corrigir a perda de eventos de consulta quando a sessão fecha durante a execução da consulta
• SPARK-55862 Renomear _LEGACY_ERROR_TEMP_2027 para UNEXPECTED_OPERATOR_IN_CORRELATED_SUBQUERY
• SPARK-56201 Executar testes SPARK-49829 com uniões VCF agora que o StateDataSource é compatível com eles
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipos - parte 3
• SPARK-56184 Substituir assert pela correta SparkRuntimeException na análise da coluna de partição
• SPARK-56206 Corrigir a deteção de nomes duplicados CTE insensíveis a maiúsculas minúsculas
• SPARK-55866 Renomear _LEGACY_ERROR_TEMP_2145 para OPTION_VALUE_EXCEEDS_ONE_CHARACTER
• SPARK-56067 Importação tardia de psutil para melhorar a velocidade de importação
• SPARK-56066 Importação tardia do NumPy para melhorar a velocidade de importação
• SPARK-55719 Remover aviso de descontinuação para spark.sql.hive.convertCTAS
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipos - parte 2
• SPARK-55510 Atualizar o documento structured-streaming-state-data-source.md para refletir deleteRange
• SPARK-56050 Resolver de imediato IDENTIFIER() com literais de string em tempo de análise sintática
• SPARK-56151 Melhorar a string de exibição CreateVariable
• SPARK-55751 Adicionar métricas sobre cargas de armazenamento de estado a partir do DFS
• SPARK-56188 Alinhar Series.map({}) com o comportamento de dicionário vazio do pandas 3
• SPARK-55964 Reverter "[SC-223957] catálogo do sistema tem precedência sobre o catálogo de utilizadores para esquemas BUILTIN e SESSION."
• SPARK-55577 Refatorar a lógica de wrapper, mapper e serializador do SQL_SCALAR_ARROW_ITER_UDF
• SPARK-55596 Filtragem Melhorada de Estatísticas de Partição DSV2
• SPARK-56179 Reverter "[SC-224777][PYTHON] Consolidar classes de erro para incompatibilidade de tipos - parte 2"
• O catálogo do sistema SPARK-55964 tem precedência sobre o catálogo de utilizadores nos esquemas BUILTIN e SESSION.
• SPARK-56050 Reverter "[SC-224153][SQL] Resolver imediatamente IDENTIFIER() com literais de string em tempo de análise sintática"
• SPARK-56179 Consolidar classes de erro para tipos incompatíveis - parte 2
• SPARK-56102UnionEstimation Limpeza de código
• SPARK-51712 Ignora Throwables não fatais ao resolver tabelas/vistas em spark.catalog.listTables()
• SPARK-55881 Adicionar queryId, errorMessage e rootExecutionId à API REST de execução SQL
• SPARK-56050 Resolve IDENTIFIERcom entusiasmo () com literais de string em tempo de análise sintática
• SPARK-55628 Integrar o formato de estado de junção fluxo-fluxo V4
• SPARK-56187 Corrigir a ordenação de nulos do Series.argsort para o pandas 3
• SPARK-56167 Alinhar astype com o comportamento padrão de string do pandas 3
• SPARK-56018 Use ruff como formatador
• SPARK-56042 Corrigir métricas de contagem de famílias de col externas/internas trocadas no RocksDBStateStoreProvider
• SPARK-56179 Consolidar classes de erro para incompatibilidade de tipos - parte 1
• SPARK-56089 Alinhar asinh/acosh com o algoritmo fdlibm para compatibilidade entre motores
• SPARK-55453 Corrigir a correspondência de padrões LIKE para caracteres Unicode suplementares
• SPARK-52785 Simplificar a sintaxe super() no PySpark
• SPARK-56169 Corrigir ClassCastException no relatório de erros quando GetStructField o tipo da criança é alterado pela transformação do plano
• SPARK-55557 As funções hiperbólicas não devem transbordar com valores de entrada grandes
• SPARK-47997 Adicionar parâmetro de erros ao DataFrame.drop e ao Series.drop
• SPARK-55008 Exibir ID de Consulta no SparkUI
• SPARK-54660 Adicionar o gatilho RTM ao python
• SPARK-56047 Propagar distinctCount através da Union na estimativa estatística do CBO
• SPARK-56111 Adiciona o SparkContext.isDriver() e usa-o em toda a base de código
• SPARK-55999 Ativar forceSnapshotUploadOnLag por defeito
• SPARK-55610 Adicionar getExecutorInfos ao StatusTracker em Python
• SPARK-55728 Introduzir a conf para o tamanho do threadpool de checksum de ficheiros e suportar a desativação do threadpool
• SPARK-55686 O SizeEstimator trata dos Cabeçalhos de Objetos Compactos
• SPARK-56044 O HistoryServerDiskManager não apaga a App Store no lançamento quando a app não está no mapa ativo
• SPARK-55809 HeapHistogram usa DiagnosticCommandMBean em vez do subprocesso jmap
• SPARK-56122 Use a verificação numérica dtype compatível com pandas em Series.cov
• SPARK-56113 Melhorar a restauração de 3 cordas do Pandas no Pandas-on-Spark
• SPARK-56118 Manipulação de bool do Match Pandas 3.0 no GroupBy.quantile
• SPARK-53823 Implementar lista de permissão para o modo em tempo real
• SPARK-55977 Corrigir o isin() para usar correspondência de tipos rigorosa como o pandas
• SPARK-54027 Suporte RTM de origem Kafka
• SPARK-50284 Alterar a documentação da função parseJson
• SPARK-56035 [SQL] Introdução AggregationValidator para validação de resolvedores Aggregate de passagem única
• SPARK-55557 Reverter "[SC-223720][SQL] As funções hiperbólicas não devem transbordar com entradas grandes"
• SPARK-56075 Remover um lote de classes de erro Python mortas
• SPARK-55967 Unificar a conversão de colunas para o dataframe Connect
• SPARK-53915 Adicionar o RealTimeScanExec e a capacidade de executar lotes de longa duração
• SPARK-55557 As funções hiperbólicas não devem transbordar com entradas grandes
• SPARK-55147 Alcance do intervalo de carimbo temporal para recuperação de junções intervaladas de tempo no formato de estado V4
• SPARK-56056 Suporta um perfil de trabalhador mais simples com o viztracer
• SPARK-55948 Adicionar a API do conector CDC DSv2, a resolução do analisador e a cláusula SQL CHANGES
• SPARK-54599 Reaplicar "[SC-219008][PYTHON] Refatorar PythonException...
• SPARK-55390 Consolidar a lógica de wrapper, mapper e serializador do SQL_SCALAR_ARROW_UDF
• SPARK-56023 Melhor balanceamento de carga no LowLatencyMemoryStream
• SPARK-55986 Atualizar Black para 26.3.1
• SPARK-55667 Mova check_dependencies para o init
• SPARK-55145 Suporte Avro para codificadores de chave de estado RocksDB baseados em carimbo temporal
• SPARK-53970 Remover a etiqueta 'opcional' incorreta para mensagemNome...
• SPARK-55059 Reverter "[SC-224058][PYTHON] Remover solução alternativa de tabela vazia no toPandas"
• SPARK-50111 Adicionar suporte a subplots para gráficos de pizza no backend do Plotly
• SPARK-56081 Alinhe o tratamento de idxmax e idxmin NA com pandas 3
• SPARK-56080 Alinhar Series.argmax/argmin com a manipulação de valores NA no pandas 3.0
• SPARK-56060 Lidar com a conversão de strings nulas no pandas 3 na função describe() para frames de carimbos temporais vazios
• SPARK-55059 Remover uma solução alternativa para tabelas vazias no ToPandas
• SPARK-55995 Suporte TIMESTAMP COM FUSO HORÁRIO LOCAL na sintaxe SQL
• SPARK-55976 Use Set em vez de Seq para privilégios de escrita
• SPARK-56073 Simplificar a construção de PythonRunnerConfMap
• SPARK-55887 Manuseamento especial para CollectLimitExec/CollectTailExec evitar varreduras completas de tabela
• SPARK-55980 Aplica sempre _cast_back_float em aritmética numérica
• SPARK-55357 Corrigir docstring para timestamp_add
• SPARK-55667 Reverter "[SC-223289][PYTHON][CONNECT] Mover check_dependencies para init"
• SPARK-54285 Reverter "[PYTHON] Armazenar em cache a informação de fuso horário para evitar conversão dispendiosa de marcação temporal"
• SPARK-56021 Aumentar o limiar predefinido do MaxChangeFileReplay do AutoSnapshotRepair de 50 para 500
• SPARK-55870 Adicionar documentação para tipos Geo
• SPARK-55962 Usa getShort em vez de getInt lançar putShortsFromIntsLittleEndian em plataformas Little Endian
• SPARK-55903 Simplificar a Evolução do Esquema MERGE e Verificação de Privilégios de Escrita
• SPARK-55326 Liberte sessão remota quando SPARK_CONNECT_RELEASE_SESSION_ON_EXIT estiver definido
• SPARK-55667 Move check_dependencies para init
• SPARK-55884 Adicionar v1StatsToV2Stats a DataSourceV2Relation
• SPARK-55929 Adicionar o toString() em falta ao TableChange.UpdateColumnDefaultValue
• SPARK-55851 Esclarecer os tipos de partição e leitura da fonte de dados
• SPARK-55828 Adicionar DSV2 TableChange toString e corrigir a classe de erro em falta para Merge Into Schema Evolution
• SPARK-55790 Construir um registo SRS completo usando dados PROJ 9.7.1
• SPARK-55645 Adicionar serdeName ao CatalogStorageFormat
• SPARK-54796 Resolver o problema de NPE causado pela condição de corrida entre a inicialização do Executor e a migração de distribuição
• SPARK-55983 Nova funcionalidade de analisador de passagem única e correções de bugs
• SPARK-55964 Coerência da cache: limpar o registo de funções em DROP DATABASE
• SPARK-55868 Corrigir o Predicate Pushdown para InMemoryTable para V2Filters
• SPARK-55973 Otimização de LeftSemi para junção de fluxo-fluxo
• SPARK-54665 Corrigir comparação booleana vs string para corresponder ao comportamento do pandas
• SPARK-55539 Permitir a conversão de GeographyType para GeometryType
• SPARK-55695 Evite o planeamento duplo em operações ao nível da linha
• SPARK-55904 Utilize _check_same_session para restringir os tipos
• SPARK-55965 Adicionar aviso quando pandas >= 3.0.0 for usado com o PySpark
• SPARK-55493 [SS] Não execute mkdirs no diretório de log de commit/deslocamento de checkpoint em streaming no StateDataSource.
• SPARK-55851 Reverter "[SC-223270][PYTHON] Clarificar tipos de partição e leitura da fonte de dados"
• SPARK-55645 Revogar "[SC-221839][SQL] Adicionar serdeName ao CatalogStorageFormat"
• SPARK-55640 Propagar erros de análise sintática WKB para Geometria e Geografia
• SPARK-55693 Evite o impasse tornando o SparkSession.observationManager um val não preguiçoso
• SPARK-55528 Adicionar suporte de colação padrão para UDFs SQL
• SPARK-55860 Utilização UNABLE_TO_INFER_SCHEMA em vez de UNABLE_TO_INFER_SCHEMA_FOR_DATA_SOURCE
• SPARK-55275 Adicionar estados de SQL do InvalidPlanInput para SQL/connect
• SPARK-55645 Adicionar serdeName ao CatalogStorageFormat
• SPARK-55716 Suporte à aplicação de restrições NOT NULL para inserções de tabelas de fontes de ficheiros V1
• SPARK-53226 Faça o ClosureCleaner funcionar com o Java22+
• SPARK-55997 Definir o limite superior para prefixScan no fornecedor de loja de estado do RocksDB
• SPARK-55851 Clarificar os tipos de partição da fonte de dados e o processo de leitura
• SPARK-55954 Remover a sugestão de tipo incorreta de sobrecarga para fillna
• SPARK-56016 Preservar colunas nomeadas da série em concat com ignore_index em pandas 3
• SPARK-55502 Unificar o tratamento de erros de conversão de flechas UDF e UDTF
• SPARK-55989 Manter os dtypes de índice não-int64 em restore_index
• SPARK-55955 Remover indicação de tipo de sobrecarga para drop
• SPARK-55945 [SDP] Suporte a identificadores estruturados para fluxos em protos de análise SDP eager
• SPARK-55714 O JDK pode lançar ArithmeticException sem mensagem
• SPARK-55991 Corrigir corrupção de texto SQL relacionada ao Unicode com parâmetros
• SPARK-55696 Adicionar erro explícito ao Encoders.bean para a classe interface
• SPARK-55533 Apoio: IGNORAR OS NULLS / RESPEITAR OS NULLS para collect_set
• SPARK-55987 Corrigir a extração de timestamp de junção em janelas V4 usando findJoinKeyOrdinalForWatermark
• SPARK-55946Configura pandas_priority para que operações binárias mistas despachem corretamente para pandas-on-Spark
• SPARK-55264 Adicionar o comando ExecuteOutput ao protocolo de pipelines do Spark Connect
• SPARK-47672 Evitar a avaliação dupla do filtro com rebaixamento do filtro e projeção
• SPARK-55780 Substituir o logótipo PNG por SVG na interface web do Spark
• SPARK-55821 Impor argumentos apenas por palavra-chave nos métodos init do serializador
• SPARK-55621 Corrigir o uso ambíguo e desnecessário de Unicode
• SPARK-55662 Implementação do argumento do eixo idxmin
• SPARK-55631ALTER TABLE deve invalidar a cache das tabelas DSv2
• SPARK-55692 Corrigir SupportsRuntimeFiltering e SupportsRuntimeV2Filtering documentação
• SPARK-55928 Novo linter para a eficácia da configuração em views e UDFs
• SPARK-55440 Estrutura de Tipos - Fase 1a - Fundação do Sistema de Tipos Principais
• SPARK-55631 Reverter "[SC-221596][SQL] ALTER TABLE deve invalidar cache para tabelas DSv2"
• SPARK-55631ALTER TABLE deve invalidar o cache das tabelas DSv2
• SPARK-55683 Otimizar VectorizedPlainValuesReader.readUnsignedLongs
• SPARK-55892 A correção não foi possível carregar a memória de estado porque o ficheiro SST reutilizado foi eliminado pela manutenção
• SPARK-55946 Revertir "[SC-223027][PS] Configurar pandas_priority para que operações binárias mistas sejam despachadas corretamente para pandas-on-Spark"
• SPARK-55891 Preservar o contexto de scripting SQL dentro de EXECUTE IMMEDIATE
• SPARK-55907 Corrigir posições de erro incorretas para tipos de dados inválidos em CREATE FUNCTION
• SPARK-55946Configura pandas_priority para que operações binárias mistas despachem corretamente para pandas-on-Spark
• SPARK-55694 Restrições de bloco em CTAS/RTAS ao nível do analisador
• SPARK-55682 Iterador retornado do ServiceLoader pode lançar NoClassDefFoundError em hasNext()
• SPARK-55155 Corrigir SETCATALOG para usar caracteres especiais e backticks no nome do identificador
• SPARK-55932 Corrigir suspensão no parser XML para variantes devido à escala negativa
• SPARK-55673 Adicionar mais testes para codificador de tipos aninhados
• SPARK-55679 Corrigir a deteção no Java 25
• SPARK-55957 Adicione 'DATA_SOURCE_NOT_FOUND' em Catalog.ERROR_HANDLING_RULES
• SPARK-55052 Adicionar propriedades AQEShuffleRead à Árvore de Planos Físicos
• SPARK-55652 Otimize VectorizedPlainValuesReader.readShorts() com acesso direto a matrizes para buffers de heap
• SPARK-55659 Melhorar o EventLogFileWriter para registar a stop operação
• SPARK-54666 Deixe os tipos numéricos inalterados no to_numeric
• SPARK-55654 Ativar a filtragem TreePattern para EliminateSubqueryAliases e ResolveInlineTables
• SPARK-55533 Revertir "[SC-220538][SQL] Suporte IGNORAR NULOS / RESPEITAR NULOS para collect_set"
• SPARK-55901 Gerar um erro da função Series.replace() quando não são fornecidos argumentos
• SPARK-55896 Use funções numpy em vez de funções embutidas
• SPARK-55655 Tornar CountVectorizer o vocabulário determinístico quando as contagens são iguais
• SPARK-55811 [SQL] Apanhar NonFatal em vez de UnresolvedException ao chamar nodeWithOutputColumnsString
• SPARK-55533 Apoio: IGNORAR OS NULLS / RESPEITAR OS NULLS para collect_set
• SPARK-55435 Utilização StringBuilder em vez de StringBuffer
• SPARK-54807 Permitir nomes qualificados para funções incorporadas e de sessão (#198171)
• SPARK-55854 Etiqueta a passagem dos atributos duplicados na saída de Expand para evitar referências ambíguas
• SPARK-55261 Implementar suporte de leitura Parquet para tipos geográficos
• SPARK-55416 Fuga de memória na fonte de dados de streaming Python quando o offset final não é atualizado
• SPARK-55465 Suporte para GeometryType em convert_numpy
• SPARK-55801 Corrigir a indicação de tipo de _SimpleStreamReaderWrapper.getCache
• SPARK-55800 Remover a verificação de tipo não utilizada para datetime.date
• SPARK-55663Módulo unificador para funções de fonte de dados
• SPARK-55665 Unificar a forma como os trabalhadores estabelecem ligação com o executor
• SPARK-53446 Otimizar operações de remoção do BlockManager com mapeamentos de blocos em cache
• SPARK-55867 Corrigir Métodos de Strings com pandas 3
• SPARK-55501 Corrigir listagg distinct + dentro da ordem do grupo por bug
• SPARK-55558 Adicionar suporte para operações de conjuntos Tuple/Theta
• SPARK-55636 Adicionar erros detalhados em caso de deduplicação de colunas inválidas
• SPARK-55788 Suporte a ExtensionDType para inteiros no Pandas UDF
• SPARK-55464 Suporte para GeographyType em convert_numpy
• SPARK-55530 Suportar conjuntos de resultados Geo em servidores Hive e Thrift
• SPARK-55525 Corrigir UDTF_ARROW_TYPE_CONVERSION_ERROR com parâmetro de mensagem de erro indefinido
• SPARK-55626 Não carregue colunas de metadados na Table a menos que seja necessário no V2TableUtil
• SPARK-55533 Revertir "[SC-220538][SQL] Suporte IGNORAR NULOS / RESPEITAR NULOS para collect_set"
• SPARK-55435 Anular "[SC-219656][CORE][SQL] Usar StringBuilder em vez de StringBuffer"
• SPARK-55533 Apoio: IGNORAR OS NULLS / RESPEITAR OS NULLS para collect_set
• SPARK-54452 Corrigir a resposta vazia do servidor SparkConnect para spark.sql(...) dentro do FlowFunction
• SPARK-55638 Refatorar a serialização WKT no GeometryModel
• SPARK-55551 Melhorar BroadcastHashJoinExec a partição de saída
• SPARK-54314 Melhorar a capacidade de debugging da funcionalidade Server-Side no Spark Connect, capturando o nome de ficheiro e os números de linha da aplicação cliente
• SPARK-55517 Otimize VectorizedPlainValuesReader.readBytes() com acesso direto a arrays para buffers de heap
• SPARK-55495 Corrigir EventLogFileWriters.closeWriter para lidar com checkError
• SPARK-55279 Adicionar sketch_funcs grupo para funções SQL do DataSketches
• SPARK-55435 Utilização StringBuilder em vez de StringBuffer
• SPARK-55064 Suporte ao nível de consulta para embaralhamento indeterminado
• SPARK-55411 O SPJ pode lançar ArrayIndexOutOfBoundsException quando as chaves de junção são inferiores às das chaves do cluster
• SPARK-55451 Os cursores devem começar a recolher resultados em OPEN, não no primeiro FETCH
• SPARK-54687 Adicione mais casos extremos com geradores
• SPARK-55691 Cliente GetStatus
• SPARK-55277 Adicionar protobuf_funcs grupo para funções Protobuf SQL
• SPARK-55822 Renomear _LEGACY_ERROR_TEMP_0052 para CREATE_VIEW_WITH_IF_NOT_EXISTS_AND_REPLACE
• SPARK-55236 Resolver exceção inesperada em alguns casos de teste CoarseGrainedExecutorBackendSuite
• SPARK-55275 Cobertura de Estado SQL: IllegalStateException
• SPARK-55462 Reaplicar "[SC-221123][PYTHON] Suporte a VariantType em convert_numpy"
• SPARK-55062 Suportar extensões proto2 em funções protobuf
• SPARK-55248 Limpar o uso obsoleto da API de Jackson em streaming.checkpointing.Checksum
• SPARK-55250 Reduzir chamadas do cliente Hive ao CRIAR NAMESPACE
• SPARK-55247 Limpar o uso obsoleto da API relacionado com o.a.c.io.input.BoundedInputStream
• SPARK-55198 o spark-sql deverá ignorar a linha de comentário com espaços em branco iniciais
• SPARK-55826 Renomear _LEGACY_ERROR_TEMP_0006 para MERGE_INSERT_VALUE_COUNT_MISMATCH
• SPARK-55127 Adicionar avro_funcs grupo para funções Avro SQL
• SPARK-54914 [SQL] Correção do operador DROP na sintaxe do pipe para suportar nomes de colunas qualificados
• SPARK-55113EnsureRequirements Deve copiar etiquetas
• SPARK-55074 Adicionar teste para coerção de tipo 'Merge Into' em ANSI
• SPARK-54217 Sincronizar a decisão de eliminação do MonitorThread do PythonRunner
• SPARK-54374 Amplie o atributo SVG viewBox da inicialização da visualização de planos SQL
• SPARK-54971 Adicionar a sintaxe WITH SCHEMA EVOLUTION para SQL INSERT
• SPARK-55065 Evite fazer duas chamadas de API JDBC
• SPARK-55033 Corrigir stringArgs nos comandos de escrita do DSv2
• SPARK-55041 Limpar alguns componentes privados não utilizados do módulo principal
• SPARK-55338 Centralizar a lógica de descompressão de pedidos do Spark Connect no interceptor gRPC
• SPARK-55825 Renomear _LEGACY_ERROR_TEMP_1309 para PARTITION_BY_NOT_ALLOWED_WITH_INSERT_INTO
• SPARK-55492 Valide que eventTime em withWatermark é uma coluna de nível superior
• SPARK-55802 Corrigir o excesso de inteiros ao calcular bytes lotados de Arrow
• SPARK-55694 Restrições de bloco em CTAS/RTAS ao nível do analisador
• SPARK-55843 Lida com a unidade dos dtypes datetime64 e timedelta64
• SPARK-55824 Renomear _LEGACY_ERROR_TEMP_1034 para WINDOW_FUNCTION_NOT_ALLOWED_IN_CLAUSE
• SPARK-55819 Refactor ExpandExec para ser mais sucinto
• SPARK-55341 Adicionar flag de nível de armazenamento para relações locais em cache
• SPARK-54599 Reverter "[SC-219008][PYTHON] Refatorar PythonException para que suporte a classe de erro com sqlstate"
• SPARK-46167 Adicionar implementação do eixo ao DataFrame.rank
• SPARK-54599 Refatorar o PythonException para que possa tomar errorClass com sqlstate
• SPARK-55529 Reaplicar [ES-1721989][SC-220716][PYTHON] Restaurar a fusão em lote ao nível da seta para applyInPandas sem iterador
• SPARK-55794 Sempre usar alias OuterReferences
• SPARK-55583 Validar os tipos de esquema Arrow na fonte de dados Python
• SPARK-37711 Reduzir os pandas descrevem o número de empregos de O(N) para O(1)
• SPARK-46168 Argumento do eixo de adição para idxmax
• SPARK-46162 Implementar "nunique" com o eixo=1
• SPARK-55552 Adicionar suporte para VariantType em ColumnarBatchRow.copy() e MutableColumnarRow
• SPARK-55647 Corrigir ConstantPropagation a substituição incorreta de atributos por colações não binárias-estáveis
• SPARK-55747 Corrigir NPE ao aceder a elementos de um array que é nulo
• SPARK-55757 Melhorar spark.task.cpus a validação
• SPARK-55699 Leitura inconsistente do LowLatencyClock quando usado em conjunto com o ManualClock
• SPARK-55702 Suportar predicado de filtro em funções de agregação de janelas
• SPARK-55510 Corrigir o método deleteRange na loja de estado do RocksDB para chamar o changelogWriter.
• SPARK-55739 Otimizar OnHeapColumnVector.putIntsLittleEndian/putLongsLittleEndian utilizando Platform.copyMemory em plataformas little-endian
• SPARK-55730 Não colocar minúsculas no fuso horário
• SPARK-55701 ES-1694761[SS] Corrigir condição de corrida no CompactibleFileStreamLog.allFiles
• SPARK-55462 Reverter "[SC-221123][PYTHON] Suporte a VariantType em converter_numpy"
• SPARK-55144 Introduzir nova versão do formato de estado para junções stream-stream com melhor desempenho
• SPARK-55606 Implementação do lado do servidor da API GetStatus
• SPARK-55462 Suporte VariantType em convert_numpy
• SPARK-55600 Corrigir pandas para seta perde contagem de linhas quando o esquema tem 0 colunas no clássico
• SPARK-55700 Corrigir a gestão de chaves inteiras em Séries com índices não inteiros
• SPARK-55349 Consolidar utilitários de conversão pandas-para-Arrow em serializadores
• SPARK-55681 Corrigir a igualdade do tipo de dados singleton após desserialização (nova tentativa)
• SPARK-55681 Reverter "[SC-221427][SC-214079][SQL] Corrigir a igualdade de DataType singleton após desserialização"
• SPARK-55681 Corrigir a igualdade do DataType singleton após desserialização
• SPARK-55674 Otimizar a conversão de tabelas de 0 colunas no Spark Connect
• SPARK-55323 Reaplicar "[SC-218885][PYTHON] Mover metadados UDF para o EvalConf para simplificar o protocolo de trabalhador"
• SPARK-55322 Reaplicar [SC-221062][SQL] Sobrecarga MaxBy e MinBy com K Elementos
• SPARK-55323 Reverter "[SC-218885][PYTHON] Mover metadados UDF para o EvalConf para simplificar o protocolo de trabalho"
• SPARK-55615 Mover a importação do SparkContext para a ramificação de classe
• SPARK-55323 Transferir metadados UDF para EvalConf para simplificar o protocolo trabalhador
• SPARK-55648 Lidar com um erro groupby(axis) inesperado de argumento de palavra-chave com pandas 3
• SPARK-55647 Reverter "[SC-221274][SQL] Corrigir ConstantPropagation a substituição incorreta de atributos por colações que não são estáveis em termos binários"
• SPARK-55646 Refatorei SQLExecution.withThreadLocalCaptured para separar a captura local de thread da execução
• SPARK-54854 Adicionar um QueryId UUIDv7 aos Eventos SQLExecution
• SPARK-55619 Corrigir métricas personalizadas no caso de partições coalescidas
• SPARK-55647 Corrigir ConstantPropagation a substituição incorreta de atributos por colações não binárias-estáveis
• SPARK-55322 Desfazer "[SC-221062][SQL] MaxBy e MinBy Sobrecarga com K Elementos"
• SPARK-54740 Iniciar o faulthandler mais cedo no modo daemon
• SPARK-55493 [SS] Não faça mkdirs no diretório de estado do checkpoint em streaming no StateDataSource
• SPARK-55322MaxBy e MinBy Sobrecarga com K Elementos
• SPARK-55625 Corrigir o StringOps para que str o dtype funcione corretamente
• SPARK-55161 Reaplicar "[SC-218867][PYTHON] Suporte a perfiladores na fonte de dados em Python"
• SPARK-55505 Corrigir o NPE ao ler EXECUTION_ROOT_ID_KEY em cenários concorrentes
• SPARK-55111 Reverificação da deteção de reparticionamento inacabado ao reiniciar a consulta
• SPARK-55593 Unificar o estado de agregação para vector_avg/vector_sum
• SPARK-55500 Corrigir o ciclo do analisador entre ApplyDefaultCollation, ExtractWindowExpressions e CollationTypeCasts
• SPARK-55494 Introduzir iterator/prefixScan com múltiplos valores na API StateStore
• SPARK-55561 Adicionar tentativas de repetição para todos os métodos do cliente admin Kafka
• SPARK-55296 Suporte do modo CoW com pandas 3
• SPARK-55479 Corrigir problemas de estilo no SparkShreddingUtils
• SPARK-55372 Correção SHOW CREATE TABLE para tabelas / vistas com colação padrão
• SPARK-55333 Habilitar DateType e TimeType em convert_numpy
• SPARK-55129 Introduzir novos codificadores de chave para carimbo temporal como uma primeira classe (UnsafeRow)
• SPARK-46163 Parâmetros filter_func e erros em DataFrame.update
• SPARK-55372 Reverter "[SC-220571][SQL] Correção SHOW CREATE TABLE para tabelas ou vistas com ordenação de caracteres por defeito"
• SPARK-55480 Remover todas as "noqa" não usadas para ruff
• SPARK-55471 Adicionar suporte a otimizadores para o SequentialStreamingUnion
• SPARK-55584 Produzir melhor erro na subconsulta escalar para EXEC IMMEDIATE
• SPARK-55161 Reverter "[SC-218867][PYTHON] Suporte a perfiladores na fonte de dados do Python"
• SPARK-55506 Passar esquema de entrada explícito para to_pandas em CogroupPandasUDFSerializer
• SPARK-55586 Adicionar jdbc.py Exemplo
• SPARK-55161 Suporte para ferramentas de análise de desempenho na fonte de dados Python
• SPARK-55529 Revertir "[SC-220716][PYTHON] Restaurar a fusão em lote ao nível da seta para applyInPandas não-iterador"
• SPARK-55385 Mitigar a recomputação em zipWithIndex
• SPARK-55529 Restaurar a fusão em lote ao nível de Arrow para aplicarApplyInPandas que não utiliza iteradores
• SPARK-55389 Consolidar a lógica do wrapper, do mapper e do serializador
• SPARK-55406 Reimplementar o pool de threads para ExecutePlanResponseReattachableIterator
• SPARK-55372 Correção SHOW CREATE TABLE para tabelas / vistas com colação padrão
• SPARK-55367 Utilizar o venv para executar os testes do pip
• SPARK-55355 Atualize a versão do mypy para a mais recente
• SPARK-55460 Remover o E203 da lista de ignorados do ruff
• SPARK-55541 Geometria e Geografia de Suporte em conversores do tipo catalisador
• SPARK-55449 Ativar a análise e escrita WKB para Geografia
• SPARK-55339 Implementar suporte para gerador WKT para objetos Geo
• SPARK-54122 Implementar TwsTester no Scala
• SPARK-54805 Implementar o TwsTester no PySpark
• SPARK-55256 Reaplicar "[SC-218596][SQL] Suporte IGNORE NULLS / RESPECT NULLS para array_agg e collect_list"
• SPARK-55156 Lidar com include_groups para groupby.apply
• SPARK-55401 Adicionar lógica de tentativa e gestão de tempo limite à transferência de instalação do pyspark
• SPARK-55229 Implementar DataFrame.zipWithIndex no PySpark
• SPARK-55462 Suportar o UserDefinedType em convert_numpy
• SPARK-55483 Corrigir NPE no PivotFirst quando a coluna pivot é um tipo não atómico com valores nulos
• SPARK-55490 Fazer com que o groupby(as_index=False) inclua uma forma de agrupamento que não esteja presente no DataFrame ao usar pandas 3
• SPARK-55473 Substituir itertools.tee por itertools.chain em applyInPandasWithState
• SPARK-55404 Sempre lançar KeyboardInterrupt do handler SIGINT
• SPARK-55407 Substitua logger.warn por logger.warning

Suporte ao driver ODBC/JDBC do Databricks

O Databricks suporta drivers ODBC/JDBC lançados nos últimos 2 anos. Faça o download dos drivers lançados recentemente e atualize (baixe ODBC,baixe JDBC).

Ambiente do sistema

• Sistema operativo: Ubuntu 24.04.4 LTS
• Java: Zulu21.48+15-CA
• Escala: 2.13.16
• Python: 3.12.3
• R: 4.5.1
• Delta Lake: 4.1.0

Bibliotecas Python instaladas

Bibliotecas R instaladas

As bibliotecas R são instaladas a partir do snapshot Posit Gestor de Pacotes CRAN em 20 de novembro de 2025.

Instalei as bibliotecas Java e Scala (versão do cluster Scala 2.13)