Copiar dados do Vertica usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Este artigo descreve como usar a Atividade de Cópia em um pipeline do Azure Data Factory ou do Synapse Analytics para copiar dados do Vertica. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Funcionalidades com suporte

O conector do Vertica é compatível com as seguintes funcionalidades:

① Runtime de integração do Azure ② Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados com suporte como origens/coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

O serviço fornece um driver interno para habilitar a conectividade, portanto, não é necessário instalar manualmente qualquer driver usando esse conector.

Para a versão 2.0, você precisa instalar um driver ODBC Vertica manualmente. Para a versão 1.0, o serviço fornece um driver interno para habilitar a conectividade; portanto, você não precisa instalar manualmente nenhum driver.

Pré-requisitos

Se o armazenamento de dados estiver localizado dentro de uma rede local interna, uma rede virtual do Azure ou uma Amazon Virtual Private Cloud (VPC), você precisará configurar um runtime de integração auto-hospedado para se conectar a ele. Se você usar a versão 2.0, sua versão do runtime de integração auto-hospedada deverá ser 5.44.8984.1 ou superior.

Para obter mais informações sobre os mecanismos de segurança de rede e as opções compatíveis com o Data Factory, consulte Estratégias de acesso a dados.

Para a versão 1.0

Se o armazenamento de dados for um serviço de dados de nuvem gerenciado, você poderá usar o Azure Integration Runtime. Se o acesso for restrito a IPs aprovados nas regras de firewall, você poderá adicionar Azure Integration Runtime IPs à lista de permissões.

Você também pode usar o recurso managed virtual network integration runtime no Azure Data Factory para acessar a rede local sem instalar e configurar um runtime de integração auto-hospedada.

Instalar o driver ODBC do Vertica para a versão 2.0

Para usar o conector Vertica com a versão 2.0, instale o driver ODBC do Vertica no computador que executa o runtime de Integração auto-hospedada seguindo estas etapas:

1. Baixe a configuração do cliente Vertica para o driver ODBC de Drivers Clientes | OpenText™ Vertica™. Considere a configuração do sistema do Windows como exemplo.

   

2. Abra o .exe baixado para iniciar o processo de instalação. 

   

3. Selecione Driver ODBC na Lista de Componentes do Vertica e selecione Avançar para iniciar a instalação.

   

4. Depois que o processo de instalação for concluído com sucesso, você poderá ir para Iniciar –> Administrador da Fonte de Dados ODBC para confirmar a instalação bem-sucedida.

   

Introdução

Você pode criar um pipeline com atividade de cópia usando o SDK do .NET, Python SDK, Azure PowerShell, API REST ou o modelo do Azure Resource Manager. Consulte o tutorial de atividade de cópia para obter instruções passo a passo para criar um pipeline com uma atividade de cópia.

Criar um serviço vinculado para o Vertica usando a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Vertica na interface do usuário do portal Azure.

1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados e clique em Novo:

   • Fábrica de dados do Azure
   • Azure Synapse

   

2. Procure Vertica e selecione o conector do Vertica.

   

3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

   

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do Vertica.

Propriedades do serviço vinculado

Se você usar a versão 2.0, as seguintes propriedades serão compatíveis com o serviço vinculado do Vertica:

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": {
                "type": "SecureString",
                "value": "<password>"
             }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Example: armazene a senha no Azure Key Vault

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "version": "2.0",
        "typeProperties": {
            "server": "<server>",
            "port": 5433,
            "uid": "<username>",
            "database": "<database>",
            "pwd": { 
                "type": "AzureKeyVaultSecret", 
                "store": { 
                    "referenceName": "<Azure Key Vault linked service name>", 
                    "type": "LinkedServiceReference" 
                }, 
                "secretName": "<secretName>" 
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Se você usar a versão 1.0, as seguintes propriedades serão compatíveis:

Exemplo:

{
    "name": "VerticaLinkedService",
    "properties": {
        "type": "Vertica",
        "typeProperties": {
            "connectionString": "Server=<server>;Port=<port>;Database=<database>;UID=<user name>;PWD=<password>"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades com suporte pelo conjunto de dados Vertica.

Para copiar dados do Vertica, defina a propriedade type do conjunto de dados como VerticaTable. Há suporte para as seguintes propriedades:

Exemplo

{
    "name": "VerticaDataset",
    "properties": {
        "type": "VerticaTable",
        "typeProperties": {},
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<Vertica linked service name>",
            "type": "LinkedServiceReference"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades com suporte pela fonte Vertica.

Vertica como fonte

Para copiar dados do Vertica, defina o tipo de origem na atividade de cópia como VerticaSource. As propriedades a seguir têm suporte na seção source da atividade de cópia:

Exemplo:

"activities":[
    {
        "name": "CopyFromVertica",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Vertica input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "VerticaSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Atualizar o conector do Vertica

Veja a seguir as etapas que ajudam você a atualizar a sua versão do Vertica:

1. Instale um driver ODBC do Vertica seguindo as etapas em Pré-requisitos.
2. Na página Editar serviço vinculado, selecione a versão 2.0 e configure o serviço vinculado referindo-se às Propriedades do serviço vinculado.
3. Aplique um runtime de integração auto-hospedada com a versão 5.44.8984.1 ou superior. O Azure Integration Runtime não é compatível com a versão 2.0.

Diferenças entre a versão 2.0 e a versão 1.0 do Vertica

O conector do Vertica versão 2.0 oferece novas funcionalidades e é compatível com a maioria dos recursos da versão 1.0. A tabela abaixo mostra as diferenças de funcionalidades entre a versão 2.0 e a versão 1.0.

Conteúdo relacionado

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.