Migrar conjuntos do Spark do Azure Synapse Analytics para o Fabric

Enquanto o Azure Synapse fornece pools do Spark, o Fabric oferece pools iniciais e pools personalizados. O conjunto inicial pode ser uma boa opção se tiver um único conjunto sem configurações personalizadas nem bibliotecas personalizadas no Azure Synapse, e se o tamanho de nó Médio satisfizer os seus requisitos. No entanto, se você busca mais flexibilidade com suas configurações de pool Spark, recomendamos o uso de pools personalizados. Há duas opções aqui:

• Opção 1: Pode usar o assistente de migração para migrar cadernos do Azure Synapse para o Fabric, usando uma experiência mais orientada e simplificada.
• Opção 2: Mover o seu pool do Spark para o pool padrão de um workspace.
• Opção 3: Mude o seu pool do Spark para um ambiente personalizado no Fabric.

Se tiver mais do que um pool Spark e planeia movê-los para o mesmo espaço de trabalho Fabric, recomendamos usar a Opção 3, criando múltiplos ambientes e pools personalizados.

Para obter considerações sobre o pool do Spark, consulte as diferenças entre o Azure Synapse Spark e o Fabric.

Pré-requisitos

Se ainda não tiveres nenhum, cria um espaço de trabalho Fabric no teu tenant.

Opção 1: Usar o assistente de migração

Pode usar o assistente de migração para migrar de Azure Synapse para Fabric. Foi concebido para proporcionar uma experiência guiada e simplificada na migração de cadernos e recursos relacionados.

Opção 2: Do pool do Spark para o pool padrão do workspace

Você pode criar um pool do Spark personalizado a partir do espaço de trabalho do Fabric e usá-lo como o pool padrão no espaço de trabalho. O pool padrão é usado por todos os blocos de anotações e definições de trabalho do Spark no mesmo espaço de trabalho.

Para passar de um pool Spark existente do Azure Synapse para um pool predefinido da área de trabalho:

1. Acessar o espaço de trabalho do Azure Synapse: entre no Azure. Navegue até o espaço de trabalho do Azure Synapse, vá para Pools do Google Analytics e selecione Pools do Apache Spark.
2. Localize o pool do Spark: Em pools do Apache Spark, localize o pool do Spark que pretende mover para o Fabric e verifique as Propriedades do pool.
3. Obter propriedades: obtenha as propriedades do pool do Spark, como a versão do Apache Spark, a família de tamanho do nó, o tamanho do nó ou o dimensionamento automático. Consulte as considerações do Spark pool para ver as diferenças.
4. Crie um pool de faíscas personalizado no Fabric:
   • Vá para o espaço de trabalho do Fabric e selecione Configurações do espaço de trabalho.
   • Vá para Engenharia de Dados/Ciência e selecione Configurações do Spark.
   • Na guia Pool e na seção Pool padrão para espaço de trabalho, expanda o menu suspenso e selecione criar novo pool.
   • Crie seu pool personalizado com os valores de destino correspondentes. Preencha as opções relativas ao nome, à família do nó, ao tamanho do nó, ao escalamento automático e à alocação dinâmica de executores.
5. Selecione uma versão de tempo de execução:
   • Vá ao separador Ambiente e selecione a Versão do ambiente de execução necessária. Veja os tempos de execução disponíveis aqui.
   • Desative a opção Definir ambiente padrão.

Opção 3: Do pool Spark para um ambiente personalizado

Com ambientes personalizados, você pode configurar propriedades e bibliotecas personalizadas do Spark. Para criar um ambiente personalizado:

1. Acessar o espaço de trabalho do Azure Synapse: entre no Azure. Navegue até o espaço de trabalho do Azure Synapse, vá para Pools do Google Analytics e selecione Pools do Apache Spark.
2. Localize o pool do Spark: Em pools do Apache Spark, localize o pool do Spark que pretende mover para o Fabric e verifique as Propriedades do pool.
3. Obter propriedades: obtenha as propriedades do pool do Spark, como a versão do Apache Spark, a família de tamanho do nó, o tamanho do nó ou o dimensionamento automático. Consulte as considerações do Spark pool para ver as diferenças.
4. Criar um conjunto de Spark personalizado:
   • Vá para o espaço de trabalho do Fabric e selecione Configurações do espaço de trabalho.
   • Vá para Engenharia de Dados/Ciência e selecione Configurações do Spark.
   • Na guia Pool e na seção Pool padrão para espaço de trabalho, expanda o menu suspenso e selecione criar novo pool.
   • Crie seu pool personalizado com os valores de destino correspondentes. Preencha as opções relativas ao nome, à família do nó, ao tamanho do nó, ao escalamento automático e à alocação dinâmica de executores.
5. Crie o item «Criar um ambiente» caso ainda não tenha nenhum.
6. Configurar a computação do Spark:
   • No Ambiente, vá para Spark Compute>Compute.
   • Selecione o pool recém-criado para o novo ambiente.
   • Pode configurar os núcleos e a memória do controlador e dos executores.
7. Selecione uma versão de tempo de execução para o ambiente. Veja os tempos de execução disponíveis aqui.
8. Clique em Salvar e publicar alterações.

Saiba mais sobre como criar e usar um ambiente.

Conteúdos relacionados

• Migrar configurações do Spark
• Migrar bibliotecas do Spark
• Migrar notas de Azure Synapse para o Fabric