Copiar dados de e para o IBM Informix usando o Azure Data Factory ou o Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Dica

Data Factory no Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA interna e novos recursos. Se você não estiver familiarizado com a integração de dados, comece com Fabric Data Factory. As cargas de trabalho existentes do ADF podem ser atualizadas para Fabric para acessar novos recursos em ciência de dados, análise em tempo real e relatórios.

Este artigo descreve como usar a Atividade de Cópia em um pipeline do Azure Data Factory ou do Synapse Analytics para copiar dados de um armazenamento de dados IBM Informix. Ele amplia o artigo Visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Funcionalidades com suporte

Este conector do Informix é compatível com as seguintes funcionalidades:

Funcionalidades com suporte IR
Atividade Copy (origem/coletor)
Atividade de pesquisa

① Runtime de integração do Azure ② Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados com suporte como origens/coletores da atividade de cópia, confira a tabela Armazenamentos de dados com suporte.

Pré-requisitos

Para usar esse conector do Informix, é necessário:

  • Configurar um Runtime de Integração autogerenciado. Consulte o artigo Self-hosted integration runtime (Integration Runtime auto-hospedado) para obter detalhes.
  • Baixe o SDK do Cliente de 64 bits para Informix para criar uma conexão ODBC para o armazenamento de dados no computador Integration Runtime. Para baixar e configurar o SDK, consulte este artigo para obter detalhes ou fale com a equipe de suporte da IBM para obter orientações de instalação de driver.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado ao Informix com a interface do usuário

Use as etapas a seguir para criar um serviço vinculado ao Informix na interface do usuário do portal Azure.

  1. Navegue até a guia Gerenciar no workspace do Azure Data Factory ou do Synapse e selecione Serviços Vinculados e clique em Novo:

  2. Pesquise por Informix e escolha o conector do Informix.

    Captura de tela do conector Informix.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Captura de tela da configuração do serviço vinculado para o Informix.

Detalhes da configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas ao conector do Informix.

Propriedades do serviço vinculado

As propriedades a seguir têm suporte para o serviço vinculado do Informix:

Propriedade Descrição Obrigatório
tipo A propriedade type deve ser definida como: Informix Sim
connectionString A cadeia de conexão ODBC, exceto a parte de credencial. Você pode especificar a cadeia de conexão ou usar o DSN (nome da fonte de dados) do sistema que você configurou no computador do Integration Runtime (ainda assim é preciso especificar a parte da credencial no serviço vinculado adequadamente).
Você também pode colocar uma chave no Azure Key Vault e extrair a configuração password da cadeia de conexão. Consulte as credenciais Store no Azure Key Vault com mais detalhes.
Sim
authenticationType Tipo de autenticação usado para se conectar ao armazenamento de dados Informix.
Os valores permitidos são: Básica e Anônima.
Sim
userName Especifique o nome de usuário se você estiver usando a autenticação Básica. Não
senha Especifique a senha da conta de usuário que você especificou para userName. Marque esse campo como um SecureString para armazená-lo com segurança ou referenciar um segredo armazenado em Azure Key Vault. Não
credencial A parte da credencial de acesso da cadeia de conexão especificada no formato propriedade-valor específico do driver. Marque esse campo como uma SecureString. Não
connectVia O Integration Runtime a ser usado para se conectar ao armazenamento de dados. Um Tempo de Execução de Integração auto-hospedado é necessário, conforme mencionado em Pré-requisitos. Sim

Exemplo:

{
    "name": "InformixLinkedService",
    "properties": {
        "type": "Informix",
        "typeProperties": {
            "connectionString": "<Informix connection string or DSN>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa das seções e propriedades disponíveis para definir os conjuntos de dados, confira o artigo sobre conjuntos de dados. Esta seção fornece uma lista das propriedades compatíveis com o conjunto de dados do Informix.

Para copiar dados do Informix, há suporte para as seguintes propriedades:

Propriedade Descrição Obrigatório
tipo A propriedade type do conjunto de dados precisa ser definida como InformixTable Sim
tableName Nome da tabela no Informix. Não para fonte (se "query" na fonte da atividade for especificada);
Sim para coletor

Exemplo

{
    "name": "InformixDataset",
    "properties": {
        "type": "InformixTable",
        "linkedServiceName": {
            "referenceName": "<Informix linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa das seções e propriedades disponíveis para definir atividades, confia o artigo Pipelines. Esta seção fornece uma lista das propriedades compatíveis com a origem do Informix.

Informix como origem

Para copiar dados do Informix, as seguintes propriedades têm suporte na seção origem da atividade de cópia:

Propriedade Descrição Obrigatório
tipo A propriedade type da origem da atividade de cópia deve ser definida como: InformixSource Sim
consulta Utiliza a consulta personalizada para ler os dados. Por exemplo: "SELECT * FROM MyTable". Não (se "tableName" no conjunto de dados for especificado)

Exemplo:

"activities":[
    {
        "name": "CopyFromInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Informix input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "InformixSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Informix como coletor

Para copiar dados para o Informix, as seguintes propriedades têm suporte na seção origem da atividade de cópia:

Propriedade Descrição Obrigatório
tipo A propriedade type do coletor de atividade de cópia deve ser definida como InformixSink Sim
writeBatchTimeout Tempo de espera para a operação de inserção em lotes ser concluída antes de atingir o tempo limite.
Os valores permitidos são: período. Exemplo: "00:30:00" (30 minutos).
Não
writeBatchSize Insere dados na tabela SQL quando o tamanho do buffer atinge writeBatchSize.
Os valores permitidos são: inteiro (número de linhas).
Não (o padrão é 0 – detectado automaticamente)
preCopyScript Especifica uma consulta SQL para a atividade de cópia, a ser executada antes de gravar dados no armazenamento de dados em cada execução. Você pode usar essa propriedade para limpar os dados previamente carregados. Não
 maxConcurrentConnections O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando desejar limitar as conexões simultâneas.  Não

Exemplo:

"activities":[
    {
        "name": "CopyToInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Informix output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "InformixSink"
            }
        }
    }
]

Pesquisar propriedades de atividade

Para saber detalhes sobre as propriedades, verifique Pesquisar atividade.

Para obter uma lista de armazenamentos de dados com suporte como coletores e fontes da atividade de cópia, confira os armazenamentos de dados com suporte.