Copiar dados do DB2 usando Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia no Azure Data Factory e nos pipelines Synapse Analytics para copiar dados de uma base de dados DB2. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Capacidades suportadas

Este conector DB2 é suportado para os seguintes recursos:

(1) Runtime de integração Azure (2) Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes ou destinos pela atividade de cópia, consulte a tabela de Armazenamentos de dados suportados.

Especificamente, este conector DB2 suporta as seguintes plataformas e versões do IBM DB2 com Distributed Relational Database Architecture (DRDA) SQL Access Manager (SQLAM) versão 9, 10 e 11. Utiliza o protocolo DDM/DRDA.

• IBM DB2 para z/OS 12.1
• IBM DB2 para z/OS 11.1
• IBM DB2 para i 7.3
• IBM DB2 para i 7.2
• IBM DB2 para i 7.1
• IBM DB2 para LUW 11
• IBM DB2 para LUW 10.5
• IBM DB2 para LUW 10.1

Pré-requisitos

Se o seu armazenamento de dados estiver localizado numa rede local, numa rede virtual Azure ou na Amazon Virtual Private Cloud, precisa de configurar um runtime de integração auto-hospedado para se ligar a ele.

Se o seu armazenamento de dados for um serviço de dados na cloud gerido, pode usar o Azure Integration Runtime. Se o acesso for restrito a IPs aprovados nas regras do firewall, pode adicionar IPs Azure Integration Runtime à lista de autorizações.

Também pode usar a funcionalidade managed virtual network integration runtime no Azure Data Factory para aceder à rede local sem instalar e configurar um runtime de integração auto-hospedado.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

O Integration Runtime fornece um driver DB2 incorporado, por isso não precisa de instalar manualmente nenhum driver ao copiar dados do DB2.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

• Ferramenta Copiar dados
• Portal do Azure
• .NET SDK
• Python SDK
• Azure PowerShell
• API REST
• Modelo do Azure Resource Manager

Criar um serviço vinculado ao DB2 usando a interface do usuário

Use os passos seguintes para criar um serviço ligado ao DB2 na interface do portal do Azure.

1. Navegue até ao separador Gerir no seu espaço de trabalho Azure Data Factory ou Synapse e selecione Serviços Ligados, depois clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Procure DB2 e selecione o conector DB2.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre propriedades que são usadas para definir entidades do Data Factory específicas para o conector DB2.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço vinculado do DB2:

Propriedades típicas dentro da cadeia de ligação:

Exemplo:

{
    "name": "Db2LinkedService",
    "properties": {
        "type": "Db2",
        "typeProperties": {
            "connectionString": "server=<server:port>;database=<database>;authenticationType=Basic;username=<username>;password=<password>;packageCollection=<packagecollection>;certificateCommonName=<certname>;"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a palavra-passe em Azure Key Vault

{
    "name": "Db2LinkedService",
    "properties": {
        "type": "Db2",
        "typeProperties": {
            "connectionString": "server=<server:port>;database=<database>;authenticationType=Basic;username=<username>;packageCollection=<packagecollection>;certificateCommonName=<certname>;",
            "password": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se estava a utilizar o serviço vinculado do DB2 com o seguinte payload, ele ainda é suportado como está, embora se recomende que utilize o novo no futuro.

Carga útil anterior:

{
    "name": "Db2LinkedService",
    "properties": {
        "type": "Db2",
        "typeProperties": {
            "server": "<servername:port>",
            "database": "<dbname>",
            "authenticationType": "Basic",
            "username": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados DB2.

Para copiar dados do DB2, as seguintes propriedades são suportadas:

Exemplo

{
    "name": "DB2Dataset",
    "properties":
    {
        "type": "Db2Table",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<DB2 linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Se estava a utilizar o conjunto de dados tipado RelationalTable, ele ainda é suportado tal como está, embora seja recomendado que opte pelo novo para o futuro.

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pelo código-fonte DB2.

DB2 como origem

Para copiar dados do DB2, as seguintes propriedades são suportadas na seção copy activity source :

Exemplo:

"activities":[
    {
        "name": "CopyFromDB2",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<DB2 input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "Db2Source",
                "query": "SELECT * FROM \"DB2ADMIN\".\"Customers\""
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Se você estava usando RelationalSource fonte digitada, ela ainda é suportada como está, enquanto você é sugerido para usar a nova no futuro.

Mapeamento de tipo de dados para DB2

Ao copiar dados do DB2, os mapeamentos a seguir são usados de tipos de dados DB2 para tipos de dados provisórios usados internamente no serviço. Consulte Mapeamentos de esquema e tipo de dados para saber como a atividade de cópia mapeia o esquema e o tipo de dados da origem para o destino.

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, verifique Atividade de Pesquisa.

Conteúdos relacionados

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos de dados suportados.