Azure Synapse Runtime for Apache Spark 3.4 (deprecated)

Atenção

O Azure Synapse Runtime para Apache Spark 3.4 foi obsoleto, com o suporte a terminar a 31 de março de 2026. Embora possa continuar a funcionar por um período limitado para além desta data, já não é suportado e não recebe correções de bugs, atualizações de segurança ou correções de vulnerabilidades. Se não atualizar, as cargas de trabalho a correr no Azure Synapse Runtime para o Apache Spark 3.4 continuarão a operar num runtime não suportado. Isto aumenta tanto os riscos operacionais como os de segurança, pois o tempo de execução deixará de receber correções ou atualizações críticas. Recomendamos vivamente que atualize as suas cargas de trabalho baseadas em Apache Spark 3.4 para Azure Synapse Runtime for Apache Spark 3.5 (GA).

O Azure Synapse Analytics dá suporte a vários tempos de execução para o Apache Spark. Este documento aborda os componentes e versões de tempo de execução para o Azure Synapse Runtime for Apache Spark 3.4.

Versões de componentes

Componente Versão
Apache Spark 3.4.1
Sistema operativo Mariner 2,0
Java 11
linguagem de programação Scala 2.12.17
Lago Delta 2.4.0
Python 3,10
R 4.2.2

Gorjeta

Para obter informações atualizadas, uma lista detalhada de alterações e notas de versão específicas para os tempos de execução do Spark, verifique e assine as versões e atualizações do Spark Runtimes.

Bibliotecas

Para verificar as bibliotecas incluídas no Azure Synapse Runtime for Apache Spark 3.4 for Java/Scala, Python e R, vá para Azure Synapse Runtime for Apache Spark 3.4 Releases Notes.

Gorjeta

spark.memoryOverheadFactor.preferred: Se definido como verdadeiro, o Spark irá priorizar spark.driver.memoryOverheadFactor e spark.executor.memoryOverheadFactor em vez dos valores explícitos definidos por spark.driver.memoryOverhead e spark.executor.memoryOverhead. Quando ativado, o overhead é sempre calculado usando o fator, e as definições explícitas de overhead são ignoradas. O padrão é false para compatibilidade retroativa.