Tutorial: Use pacotes SSIS para escrever ficheiros no OneLake através do Azure Data Lake Storage Gen2

Este tutorial mostra-te como executar um pacote SSIS existente que escreve ficheiros no Azure Data Lake Storage (ADLS) Gen2, e depois repor esses ficheiros no OneLake usando um atalho. Ao combinar a atividade Invocar Pacote SSIS no Data Factory para Microsoft Fabric com atalhos do OneLake, poderá centralizar todos os seus dados no OneLake – até os dados produzidos por cargas de trabalho SSIS legadas.

Caso de utilização

Muitas organizações têm pacotes SSIS que extraem e transformam dados, depois escrevem os resultados como ficheiros planos (CSV, Parquet, XML e outros) para o Azure Data Lake Storage Gen2. Estes ficheiros são consumidos por sistemas de análise e relatórios a jusante.

Com o Microsoft Fabric, pode trazer esses ficheiros para o OneLake sem alterar a lógica do pacote SSIS:

  • Preservar os investimentos existentes em SSIS - Continuar a usar pacotes testados que escrevem ficheiros para ADLS Gen2 através do gestor de conexões Azure Storage. Não é necessária reescrita do pacote.
  • Centralizar dados no OneLake - Criar um atalho ADLS Gen2 numa casa de lago Fabric para que ficheiros escritos pelo SSIS apareçam automaticamente no OneLake, prontos para consumo por Spark, SQL, Power BI e outras cargas de trabalho Fabric.
  • Orquestar no Fabric - Utilizar a atividade "Invoke SSIS Package" num pipeline do Fabric para agendar e monitorizar a execução do pacote com outras atividades nativas do Fabric.

Pré-requisitos

Antes de começar, certifique-se de que tem:

  • Um espaço de trabalho Microsoft Fabric com uma capacidade de Fabric ou uma versão de avaliação.
  • Uma casa de lago no espaço de trabalho.
  • Uma conta de armazenamento Azure Data Lake Storage Gen2 com namespace hierárquico ativado.
  • Um pacote SSIS (.dtsx) que utiliza um gestor de conexões Azure Storage para escrever ficheiros para ADLS Gen2.
  • Credenciais para a conta ADLS Gen2 – por exemplo, uma chave de conta, assinatura de acesso partilhada (SAS), principal de serviço ou conta organizacional – com pelo menos a função Contribuidor de Blob de Dados de Armazenamento.

Descrição geral

O fluxo de trabalho de ponta a ponta tem quatro etapas:

Step O que fazes Result
1 Configure o pacote SSIS para escrever ficheiros para ADLS Gen2 O pacote produz ficheiros de saída na sua conta de armazenamento
2 Criar um atalho de ADLS Gen2 num lago do Fabric Ficheiros escritos para ADLS Gen2 aparecem automaticamente no OneLake
3 Carregar o pacote SSIS para o OneLake A encomenda está armazenada no OneLake e pronta para ser invocada
4 Execute o pacote a partir de um pipeline Fabric Pipeline orquestra a execução e escreve a saída para o OneLake

Passo 1 - Configurar o pacote SSIS para escrever ficheiros em ADLS Gen2

Neste passo, certifica-te de que o teu pacote SSIS usa um gestor de ligação Azure Storage para escrever ficheiros na tua conta ADLS Gen2.

  1. Abra o seu projeto SSIS no Visual Studio com a extensão SQL Server Integration Services Projects.

  2. Instale o Pacote de Recursos do Azure para Serviços de Integração (SSIS). O Feature Pack fornece o gestor de conexões Azure Storage, Azure Blob Source, Azure Blob Destination e outras tarefas e componentes relacionados com Azure necessários para se ligar ao ADLS Gen2 a partir de um pacote SSIS.

  3. Na bandeja de Gestores de Conexões , adicione (ou verifique) um gestor de conexões Azure Storage . Defina as seguintes propriedades:

    Propriedade Valor
    Serviço ADLS Gen2
    Authentication Escolha um: AccessKey, ServicePrincipal ou SharedAccessSignature
    Nome da conta Nome da sua conta de armazenamento ADLS Gen2

    Captura de ecrã do diálogo de configuração do gestor de ligação Azure Storage.

  4. Configure o seu fluxo de dados ou tarefa do sistema de ficheiros para utilizar este gerenciador de conexões e escrever ficheiros de saída num contentor e caminho de pasta na conta de armazenamento – por exemplo, mycontainer\myfolder.

    Captura de ecrã da configuração do fluxo de dados com o caminho do contentor e da pasta para a conta de armazenamento.

  5. Testa a ligação e verifica se o pacote corre corretamente na tua máquina local.

Para detalhes completos sobre o gestor de conexões Azure Storage, consulte Azure Storage connection manager.

Sugestão

Se o seu pacote usar o nível de proteção DontSaveSensitive , as credenciais não são mantidas no ficheiro do pacote. Fornece-os em tempo de execução através do separador Gestores de Ligação da atividade Invocar o Pacote SSIS. Em alternativa, pode definir o nível de proteção do pacote para EncryptSensitiveWithPassword, que encripta as credenciais dentro do pacote. Depois, fornece a palavra-passe do pacote na atividade Invoke SSIS Package em tempo de execução, em vez de fornecer as credenciais individuais do gestor de conexões (Passo 4).

Passo 2 - Criar um atalho ADLS Gen2 numa casa de lago em tecido

Um atalho torna os ficheiros escritos pelo seu pacote SSIS visíveis no OneLake sem copiar dados. Qualquer carga de trabalho Fabric - Spark, endpoint de análise SQL, Power BI - pode ler os ficheiros através do atalho.

  1. Abre o teu lakehouse no portal Fabric.

  2. No painel do Explorador , clique com o botão direito na pasta Ficheiros (ou numa subpasta) e selecione Novo atalho.

  3. Em Fontes externas, selecione Azure Data Lake Storage Gen2.

  4. Introduza a URL de ligação - o endpoint DFS para a sua conta de armazenamento:

    https://<STORAGE_ACCOUNT_NAME>.dfs.core.windows.net

  5. Selecione uma ligação existente ou crie uma nova. Escolha um tipo de autenticação que tenha pelo menos a função Leitor de Dados de Blob de Armazenamento na conta de armazenamento.

  6. Selecione Próximo, depois navegue até ao contentor e pasta onde o seu pacote SSIS escreve ficheiros (por exemplo, mycontainer).

  7. Seleciona a pasta de destino, depois seleciona Next → Criar.

    Captura de ecrã do diálogo de criação de atalhos a mostrar o contentor de armazenamento selecionado.

O atalho aparece agora na tua casa do lago. Qualquer ficheiro que o pacote SSIS escreva na pasta de destino ADLS Gen2 é automaticamente acessível no OneLake através deste atalho.

Para instruções detalhadas, consulte Criar um atalho Azure Data Lake Storage Gen2. Para mais informações sobre atalhos, consulte atalhos OneLake.

Passo 3 - Carregar o pacote SSIS para o OneLake

A atividade Invoke SSIS Package lê pacotes do OneLake. Carregue o ficheiro .dtsx (e o ficheiro opcional .dtsConfig) para um lakehouse.

  1. No portal Fabric, abre a casa do lago onde queres guardar a encomenda.

  2. Na secção Ficheiros , crie uma pasta – por exemplo, ssis-packages.

  3. Carregue o pacote usando um destes métodos:

    Método Como
    Portal Fabric Selecione Carregar → Carregar ficheiros e escolher o seu ficheiro .dtsx .
    Explorador de ficheiros OneLake Arrasta e larga o ficheiro para a packages pasta através do explorador de ficheiros OneLake no teu ambiente de trabalho.

Para mais informações sobre o carregamento de ficheiros para o OneLake, consulte a documentação de atividade do Invoke SSIS Package.

Passo 4 - Executar o pacote num pipeline do Fabric

  1. No seu espaço de trabalho Fabric, crie um novo Data Pipeline ou abra um existente.

  2. A partir do painel de Atividades, adicione a atividade Invocar Pacote SSIS ao quadro do pipeline.

  3. No separador Definições , configure a atividade:

    Configuração Valor
    Caminho do pacote Navegue até ao ficheiro .dtsx que carregou no Passo 3.
    Caminho de configuração(opcional) Consulte o ficheiro .dtsConfig , se aplicável.
    Palavra-passe de encriptação(opcional) Se o nível de proteção do pacote for EncryptSensitiveWithPassword ou EncryptAllWithPassword, forneça a palavra-passe usada para encriptar o pacote.
    Ativar registo Selecione para escrever registos de execução no OneLake.

    Captura de ecrã do separador de configurações de atividade do Invoke SSIS Package num pipeline Fabric.

  4. Selecione Guardar, depois selecione Executar para executar o pipeline imediatamente, ou selecione Agendar para configurar execuções recorrentes.

  5. Monitorizar o progresso no separador de Saída do pipeline ou no hub de monitorização do workspace. Se o registo estiver ativado, a saída da atividade inclui o caminho do registo no OneLake.

Para detalhes completos da configuração, consulte a atividade Invocar o Pacote SSIS para executar um pacote SSIS.

Verificar os resultados

Após a execução do pipeline concluir com sucesso:

  1. Abre a casa do lago e navega até ao atalho que criaste no Passo 2.
  2. Confirme que os ficheiros de saída escritos pelo pacote SSIS aparecem na pasta de atalhos.

Resumo

Ao combinar algumas funcionalidades do Fabric, pode trazer saída SSIS baseada em ficheiros para o OneLake sem modificar os seus pacotes existentes:

  1. O gestor de conexões Azure Storage escreve ficheiros para ADLS Gen2 a partir do seu pacote SSIS.
  2. O atalho OneLake apresenta esses ficheiros numa casa de lago Fabric - não é necessária cópia de dados.
  3. O upload de pacotes para o OneLake torna o ficheiro .dtsx disponível para execução no pipeline Fabric.
  4. A atividade "Invoke SSIS Package" orquestra e monitoriza a execução de pacotes num pipeline Fabric.

Este padrão permite-lhe gerir todos os seus dados no OneLake enquanto preserva os seus investimentos SSIS existentes.

Conteúdo relacionado

  • Last updated on