Copie dados do Netezza usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia no Azure Data Factory ou nos pipelines do Synapse Analytics para copiar dados do Netezza. O artigo baseia-se na Atividade de Cópia, que apresenta uma visão geral da Atividade de Cópia.

Capacidades suportadas

Este conector Netezza é suportado para as seguintes funcionalidades:

(1) Runtime de integração Azure (2) Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados que a Atividade de Cópia suporta como fontes e coletores, consulte Formatos e armazenamentos de dados suportados.

Este conector Netezza suporta:

• Cópia paralela do código-fonte. Consulte a seção Cópia paralela do Netezza para obter detalhes.
• Netezza Performance Server versão 11.
• Versões do Windows neste artigo.

O serviço fornece um driver interno para habilitar a conectividade. Não é necessário instalar manualmente nenhum driver para usar esse conector.

Para a versão 2.0, é necessário instalar um driver ODBC do IBM Netezza manualmente. Para a versão 1.0, o serviço fornece um driver interno para habilitar a conectividade. Não é necessário instalar manualmente nenhum driver para usar esse conector.

Prerequisites

Se o seu armazenamento de dados estiver localizado numa rede local, numa rede virtual Azure ou na Amazon Virtual Private Cloud, precisa de configurar um runtime de integração auto-hospedado para se ligar a ele.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções suportadas pelo Data Factory, consulte Estratégias de acesso a dados.

Para a versão 1.0

Se o seu armazenamento de dados for um serviço de dados na cloud gerido, pode usar o Azure Integration Runtime. Se o acesso for restrito a IPs aprovados nas regras do firewall, pode adicionar Azure Integration Runtime IPs à lista de permissões.

Também pode usar a funcionalidade managed virtual network integration runtime no Azure Data Factory para aceder à rede local sem instalar e configurar um runtime de integração auto-hospedado.

Instale o driver Netezza ODBC para a versão 2.0

Para utilizar o conector Netezza com a versão 2.0, instale o driver ODBC IBM Netezza versão 11.02.02 ou superior na máquina onde está em execução o runtime de integração auto-hospedado.

Introdução

Pode criar um pipeline que use uma atividade de cópia usando o SDK .NET, o SDK Python, Azure PowerShell, a API REST ou um template do Azure Resource Manager. Consulte o tutorial sobre atividade de cópia para obter instruções passo a passo para criar um pipeline com uma atividade de cópia.

Criar um serviço vinculado ao Netezza usando a interface do usuário

Use os seguintes passos para criar um serviço ligado à Netezza na interface do portal Azure.

1. Navegue até ao separador Gerir no seu espaço de trabalho Azure Data Factory ou Synapse e selecione Serviços Ligados, depois clique em Novo:

   • Azure Data Factory
   • Azure Synapse

   

2. Procure Netezza e selecione o conector Netezza.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades que você pode usar para definir entidades que são específicas para o conector Netezza.

Propriedades do serviço vinculado

O conector Netezza agora suporta a versão 2.0. Consulte esta seção para atualizar sua versão do conector Netezza a partir da versão 1.0. Para obter os detalhes da propriedade, consulte as seções correspondentes.

• Versão 2.0
• Versão 1.0

Versão 2.0

O serviço vinculado Netezza suporta as seguintes propriedades quando aplicar a versão 2.0:

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
	        "port": "<port>",
            "database": "<database>",
 		    "uid": "<username>",
		    "pwd": {
                "type": "SecureString",
                "value": "<password>"
             },
		    "securityLevel": "preferredUnSecured"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Versão 1.0

As seguintes propriedades são suportadas para o serviço vinculado Netezza ao aplicar a versão 1.0:

Um cadeia de ligação típico é Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>. A tabela a seguir descreve mais propriedades que você pode definir:

Example

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exemplo: armazenar a palavra-passe em Azure Key Vault

{
    "name": "NetezzaLinkedService",
    "properties": {
        "type": "Netezza",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Esta seção fornece uma lista de propriedades que o conjunto de dados Netezza suporta.

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte Conjuntos de dados.

Para copiar dados do Netezza, defina a propriedade type do conjunto de dados como NetezzaTable. As seguintes propriedades são suportadas:

Example

{
    "name": "NetezzaDataset",
    "properties": {
        "type": "NetezzaTable",
        "linkedServiceName": {
            "referenceName": "<Netezza linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {}
    }
}

Propriedades da Atividade de Cópia

Esta seção fornece uma lista de propriedades que a fonte Netezza suporta.

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte Pipelines.

Netezza como fonte

Para copiar dados do Netezza, defina o tipo de origem em Copiar atividade como NetezzaSource. As seguintes propriedades são suportadas na seção fonte da Atividade de Cópia:

Example:

"activities":[
    {
        "name": "CopyFromNetezza",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Netezza input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "NetezzaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Cópia paralela de Netezza

O conector Netezza Data Factory fornece particionamento de dados integrado para copiar dados do Netezza em paralelo. Você pode encontrar opções de particionamento de dados na tabela Origem da atividade de cópia.

Quando você habilita a cópia particionada, o serviço executa consultas paralelas na fonte Netezza para carregar dados por partições. O grau paralelo é controlado pela configuração parallelCopies na atividade de cópia. Por exemplo, se você definir parallelCopies como quatro, o serviço simultaneamente gerará e executará quatro consultas com base na opção e nas configurações de partição especificadas, e cada consulta recuperará uma parte dos dados do banco de dados Netezza.

Sugere-se que você habilite a cópia paralela com particionamento de dados, especialmente quando você carrega uma grande quantidade de dados do seu banco de dados Netezza. A seguir estão sugeridas configurações para diferentes cenários. Ao copiar dados para o armazenamento de dados baseado em arquivo, é recomendável gravar em uma pasta como vários arquivos (especifique apenas o nome da pasta), caso em que o desempenho é melhor do que gravar em um único arquivo.

Exemplo: consulta com partição de fatia de dados

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE mod(datasliceid, ?AdfPartitionCount) = ?AdfDataSliceCondition AND <your_additional_where_clause>",
    "partitionOption": "DataSlice"
}

Exemplo: consulta com partição de intervalo dinâmico

"source": {
    "type": "NetezzaSource",
    "query": "SELECT * FROM <TABLENAME> WHERE ?AdfRangePartitionColumnName <= ?AdfRangePartitionUpbound AND ?AdfRangePartitionColumnName >= ?AdfRangePartitionLowbound AND <your_additional_where_clause>",
    "partitionOption": "DynamicRange",
    "partitionSettings": {
        "partitionColumnName": "<dynamic_range_partition_column_name>",
        "partitionUpperBound": "<upper_value_of_partition_column>",
        "partitionLowerBound": "<lower_value_of_partition_column>"
    }
}

Mapeamento de tipo de dados para Netezza

Quando você copia dados do Netezza, os mapeamentos a seguir se aplicam dos tipos de dados do Netezza aos tipos de dados internos usados pelo serviço. Para saber como a atividade de cópia mapeia o esquema de origem e o tipo de dados para o destino, consulte Mapeamentos de esquema e tipo de dados.

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, verifique Atividade de pesquisa.

Ciclo de vida e atualização do conector Netezza

A tabela a seguir mostra o estágio de liberação e os logs de alteração para diferentes versões do conector Netezza:

Atualize o conector Netezza da versão 1.0 para a versão 2.0

1. Na página Editar serviço vinculado , selecione 2.0 para a versão. Para obter mais informações, consulte Propriedades do serviço vinculado versão 2.0.
2. O mapeamento de tipo de dados para o serviço vinculado Netezza versão 2.0 é diferente daquele para a versão 1.0. Para saber o mapeamento de tipo de dados mais recente, consulte Mapeamento de tipo de dados para Netezza.
3. Apenas suporta o runtime de integração auto-hospedado. O runtime de integração com o Azure não é suportado pela versão 2.0.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados que a Atividade de Cópia suporta como fontes e coletores, consulte Formatos e armazenamentos de dados suportados.