Compare Fabric Data Engineering e Azure Synapse Spark

Este artigo compara o Azure Synapse Spark e o Fabric Spark entre pools, configurações, bibliotecas, notebooks e definições de funções Spark (SJD).

Para uma vista focada em Delta Lake e Lakehouse (incluindo formatos de tabelas e padrões de tempo de execução), consulte tabelas Lakehouse e Delta Lake.

Quando escolher: Utilize o Fabric Spark para análise unificada com armazenamento OneLake, pipelines CI/CD integradas e escalonamento baseado em capacidade. Use o Azure Synapse Spark quando precisar de pools acelerados por GPU, Hive Metastore externo ou ligações JDBC.

Limitações principais no Fabric

• DMTS em cadernos: Os Serviços de Movimentação e Transformação de Dados não podem ser usados em cadernos ou definições de funções Spark
• Identidade gerida para Key Vault: Não suportada em notebooks
• Metastore Hive Externo: Não suportado
• Pools acelerados por GPU: Não disponíveis
• .NET para Spark (C#): Não suportado

Mais considerações sobre o tecido

• Nível de carga de trabalho do RBAC: O Fabric suporta quatro papéis de espaço de trabalho. Para mais informações, consulte Funções nos espaços de trabalho.
• CI/CD: Utilize a API/SDK do Fabric, a CLI do Fabric e os pipelines de implementação. A integração com o Fabric Git também suporta ramificação seletiva e vistas diferenciais incorporadas para alterações de itens.

Comparação de piscina de faíscas

A tabela seguinte compara os pools Azure Synapse Spark e Fabric Spark.

• Runtime: O Fabric não suporta Spark 3.3 e versões anteriores. O Fabric Spark suporta o Spark 3.4 com Delta 2.4 dentro do Runtime 1.2, Spark 3.5 com Delta 3.1 dentro do Runtime 1.3, e o Spark 4.0 com Delta 4.0 dentro do Runtime 2.0.

Quando escolher: Utilize pools Spark do Fabric para arranque rápido (pools iniciais), trabalho de nó único, sessões de concorrência elevada e otimização V-Order. Usa pools do Azure Synapse quando precisares de aceleração GPU ou escalonamento fixo até 200 nós.

Compreender os modelos de pool Spark

Azure Synapse e Fabric utilizam modelos de pool fundamentalmente diferentes:

• Azure Synapse: Um pool Spark é um recurso de computação fixo com um número máximo de nós. Cada trabalho (definição de caderno ou de trabalho Spark) disponibiliza um cluster dentro do pool. O pool define o limite superior dos nós disponíveis em todos os artefacts em execução.

• Fabric: Um pool Spark é um modelo de configuração, não um recurso de computação de suporte fixo. Cada artefacto fornece o seu próprio cluster, mas o dimensionamento é limitado pelos vCore de Capacidade, não por uma propriedade de tamanho máximo do pool. As sessões de alta concorrência permitem que os artefatos partilhem a mesma sessão ou cluster.

Exemplo prático: comparação de concorrência

A tabela seguinte compara quantos trabalhos concorrentes podem correr sob diferentes configurações, assumindo um tamanho de cluster de 1 driver + 6 trabalhadores (7 nós, 28 vCores por trabalho) com nós Pequenos (4 vCores cada).

Para mais informações sobre a capacidade e concorrência do Fabric, conferir Limites de Concorrência e Filas.

Versões em tempo de execução Spark

Versões suportadas pelo Fabric Spark:

• Spark 3.3 / Delta 2.2: Runtime 1.1
• Spark 3.4 / Delta 2.4: Tempo de Execução 1.2
• Spark 3.5 / Delta 3.1: Duração 1.3

O Fabric não suporta Spark 2.4, 3.1 ou 3.2.

Tamanhos de nós ajustáveis

Os pools Spark do Azure Synapse escalam até 200 nós independentemente do tamanho do nó. No Fabric, o número máximo de nós depende do tamanho do nó e da capacidade provisionada (SKU).

Conversão de capacidade de tecido: 2 Spark vCores = 1 unidade de capacidade. Fórmula: vCores totais em capacidade ÷ vCores por tamanho de nó = número máximo de nós disponíveis.

Por exemplo, o SKU F64 fornece 64 unidades de capacidade (128 Spark vCores). A tabela seguinte mostra os limites de nós para F64:

Para obter mais informações, consulte Computação do Spark.

Tamanhos dos nós

Os pools Fabric Spark suportam apenas a família de nós Otimizada para Memória. Pools acelerados por GPU disponíveis no Azure Synapse não são suportados no Fabric.

Comparação do tamanho dos nós (XX-Large):

• Azure Synapse: 432 GB de memória
• Fabric: 512 GB de memória, 64 vCores

Os tamanhos dos nós Pequeno a X-Grande têm vCores e memória idênticos tanto em Azure Synapse como em Fabric.

Comportamento de autopausa

Comparação de definições de autopausa:

• Azure Synapse: Tempo de espera configurável, mínimo de 5 minutos
• Fabric: Pausa automática fixa de 2 minutos após o término da sessão (não configurável), o timeout padrão da sessão é de 20 minutos

Alta simultaneidade

O Fabric suporta o modo de alta concorrência para notebooks, permitindo que vários utilizadores partilhem uma única sessão Spark. O Azure Synapse não suporta esta funcionalidade.

Limites de simultaneidade

Azure Synapse Spark limites (fixos):

• 50 trabalhos simultâneos para cada pool, 200 tarefas em fila para cada pool
• 250 empregos ativos por pool, 1.000 por workspace

Limites do Fabric Spark (baseado em SKU):

• As tarefas simultâneas variam conforme a capacidade SKU: entre 1 e um máximo de 512
• O controlo dinâmico baseado em reservas gere o uso no pico

Para mais informações, consulte limites de concorrência e filas em Microsoft Fabric Spark.

Várias piscinas de faísca

No Fabric, utilize ambientes para configurar e selecionar diferentes pools Spark por caderno ou definição de trabalho Spark.

Comparação de configurações do Spark

As configurações de faísca aplicam-se a dois níveis:

• Nível do ambiente: Configuração padrão para todos os trabalhos Spark no ambiente
• Nível inline: Configuração por sessão em cadernos ou definições de tarefas Spark

Quando escolher: Ambas as plataformas suportam configurações de ambiente e em linha. O Fabric utiliza ambientes em vez de configurações ao nível do pool.

• Sintaxe inline: No Fabric, usar spark.conf.set(<conf_name>, <conf_value>) para configurações ao nível da sessão. Para trabalhos em lote, usa o SparkConf.
• Configurações imutáveis: Algumas configurações do Spark não podem ser modificadas. Mensagem de erro: AnalysisException: Can't modify the value of a Spark config: <config_name>
• V-Order: Ativado por defeito no Fabric; Otimização em tempo de escrita para ficheiros parquet. Ver V-Order.
• Escrita Otimizada: Ativada por defeito no Fabric; desativado por defeito no Azure Synapse.

Comparação de bibliotecas do Spark

As bibliotecas Spark aplicam-se em três níveis:

• Nível do espaço de trabalho: Disponível apenas em Azure Synapse
• Nível ambiental: Bibliotecas disponíveis para todos os cadernos e definições de tarefas Spark no ambiente
• Inline: Bibliotecas específicas de sessão instaladas no arranque do portátil

Quando escolher: Ambas as plataformas suportam bibliotecas de ambiente e integradas. O Fabric não suporta pacotes ao nível do espaço de trabalho.

• Built-in libraries: O Fabric e os runtimes de Azure Synapse partilham um núcleo Spark comum, mas diferem nas versões da biblioteca. Algum código pode exigir recompilação ou bibliotecas personalizadas. Ver as bibliotecas de tempo de execução do Fabric.

Comparação de blocos de notas

Notebooks e definições de tarefas do Spark são itens de código primários para o desenvolvimento de tarefas do Apache Spark no Fabric. Existem algumas diferenças entre Azure Synapse cadernos Spark e Fabric cadernos Spark:

Quando escolher: Use cadernos Fabric para colaboração, sessões de alta concorrência, agendamento integrado e recursos para cadernos. Utilize os notebooks do Azure Synapse caso necessite de .NET para Spark (C#).

• notebookutils.credentials: Apenas getToken e getSecret são suportados em Fabric (ligações DMTS não disponíveis).
• Recursos para cadernos: O Fabric fornece um sistema de ficheiros semelhante ao Unix para gerir ficheiros. Veja Como usar cadernos.
• Alta concorrência: Alternativa ao ThreadPoolExecutor em Azure Synapse. Veja Configurar modo de concorrência elevada.
• .NET para Spark: Migrar cargas de trabalho C#/F# para Python ou Scala.
• Serviços ligados: Substituir por bibliotecas Spark para ligações externas a fontes de dados.

Comparação da definição de trabalho do Spark

Considerações importantes sobre a definição de trabalho do Spark:

Quando escolher: Utilize definições de tarefas do Fabric Spark para suporte ao SparkR, agendamento integrado e políticas de tentativas. Usa o Azure Synapse se precisares de .NET para Spark (C#) ou importação/exportação baseada em interface.

• Ficheiros suportados: .py, . R, e .jar com ficheiros de referência, argumentos de linha de comandos e referências lakehouse.
• Import/export: Importação/exportação de JSON baseada na interface do utilizador, disponível apenas no Azure Synapse.
• Políticas de repetição: Para permitir execuções indefinidas em trabalhos de Streaming Estruturado Spark.
• .NET para Spark: Migrar cargas de trabalho C#/F# para Python ou Scala.

Comparação do Hive Metastore (HMS)

Quando escolher: Use tecido se o HMS interno baseado em casa de lago corresponder às suas necessidades. Use o Azure Synapse se precisar de Hive Metastore externo (Azure SQL DB) ou acesso à API do Catálogo.

Conteúdos relacionados

• Saiba mais sobre as opções de migração para pools do Spark, configurações, bibliotecas, notebooks e definições de jobs do Spark
• Migrar dados e pipelines
• Migrar metadados do Hive Metastore