Copiar dados de e para o IBM Informix usando Azure Data Factory ou Synapse Analytics

APLICA-SE A: Azure Data Factory Azure Synapse Analytics

Gorjeta

Data Factory em Microsoft Fabric é a próxima geração de Azure Data Factory, com uma arquitetura mais simples, IA incorporada e novas funcionalidades. Se és novo na integração de dados, começa pelo Fabric Data Factory. As cargas de trabalho existentes do ADF podem atualizar para o Fabric para aceder a novas capacidades em ciência de dados, análise em tempo real e relatórios.

Este artigo descreve como utilizar a atividade de cópia num pipeline do Azure Data Factory ou Synapse Analytics para copiar dados de um datastore IBM Informix. Ele se baseia no artigo de visão geral da atividade de cópia que apresenta uma visão geral da atividade de cópia.

Capacidades suportadas

Este conector Informix é suportado para os seguintes recursos:

Capacidades suportadas IR
Copy activity (fonte/sumidouro) (2)
Atividade de Pesquisa (2)

(1) Runtime de integração Azure (2) Runtime de integração auto-hospedado

Para obter uma lista de armazenamentos de dados suportados como fontes/destinos pela atividade de cópia, consulte a tabela de Armazenamentos de Dados Suportados.

Pré-requisitos

Para usar esse conector Informix, você precisa:

  • Configurar um Self-hosted Integration Runtime. Consulte o artigo Self-hosted Integration Runtime para mais detalhes.
  • Descarregue o Client SDK de 64 bits para Informix para criar uma ligação ODBC para o armazenamento de dados na máquina Integration Runtime. Para download e configuração do SDK, consulte este artigo para obter detalhes ou entre em contato com a equipe de suporte da IBM para obter diretrizes de instalação do driver.

Introdução

Para executar a atividade de cópia com um pipeline, você pode usar uma das seguintes ferramentas ou SDKs:

Criar um serviço vinculado ao Informix usando a interface do usuário

Use os passos seguintes para criar um serviço ligado ao Informix na interface do portal Azure.

  1. Navegue até ao separador Gerir no seu espaço de trabalho Azure Data Factory ou Synapse e selecione Serviços Ligados, depois clique em Novo:

  2. Procure Informix e selecione o conector Informix.

    Captura de ecrã do conector Informix.

  3. Configure os detalhes do serviço, teste a conexão e crie o novo serviço vinculado.

    Captura de tela da configuração do serviço vinculado para Informix.

Detalhes de configuração do conector

As seções a seguir fornecem detalhes sobre as propriedades usadas para definir entidades do Data Factory específicas para o conector Informix.

Propriedades do serviço vinculado

As seguintes propriedades são suportadas para o serviço associado Informix:

Propriedade Descrição Obrigatório
tipo A propriedade type deve ser definida como: Informix Sim
string de conexão A string de conexão ODBC excluindo a parte das credenciais. Pode especificar a cadeia de conexão ou usar o DSN do sistema (Data Source Name) que configurou na máquina Integration Runtime (precisa ainda de especificar a parte das credenciais no serviço ligado em conformidade).
Também pode colocar uma palavra-passe no Azure Key Vault e extrair a configuração password da cadeia de ligação. Consulte a secção Guardar credenciais no Azure Key Vault para mais detalhes.
Sim
tipo de autenticação Tipo de autenticação usado para se conectar ao armazenamento de dados do Informix.
Os valores permitidos são: Básico e Anônimo.
Sim
nome de utilizador Especifique o nome de usuário se estiver usando a autenticação Básica. Não
palavra-passe Especifique a senha para a conta de usuário que você especificou para o userName. Marque este campo como um SecureString para o armazenar de forma segura, ou referencia um segredo guardado em Azure Key Vault. Não
credencial A parte de credenciais de acesso da cadeia de ligação especificada no formato valor-propriedade específico do driver. Marque este campo como SecureString. Não
connectVia O Integration Runtime para ser usado para se ligar ao armazenamento de dados. É necessário um Integration Runtime auto-hospedado, conforme mencionado em Pré-requisitos. Sim

Exemplo:

{
    "name": "InformixLinkedService",
    "properties": {
        "type": "Informix",
        "typeProperties": {
            "connectionString": "<Informix connection string or DSN>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Propriedades do conjunto de dados

Para obter uma lista completa de seções e propriedades disponíveis para definir conjuntos de dados, consulte o artigo sobre conjuntos de dados. Esta seção fornece uma lista de propriedades suportadas pelo conjunto de dados Informix.

Para copiar dados do Informix, as seguintes propriedades são suportadas:

Propriedade Descrição Obrigatório
tipo A propriedade type do conjunto de dados deve ser definida como: InformixTable Sim
tableName Nome da tabela no Informix. Não para a fonte (se "consulta" estiver especificado na fonte de atividade);
Sim para lavatório

Exemplo

{
    "name": "InformixDataset",
    "properties": {
        "type": "InformixTable",
        "linkedServiceName": {
            "referenceName": "<Informix linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Propriedades da atividade de cópia

Para obter uma lista completa de seções e propriedades disponíveis para definir atividades, consulte o artigo Pipelines . Esta seção fornece uma lista de propriedades suportadas pela fonte Informix.

Informix como fonte

Para copiar dados do Informix, as seguintes propriedades são suportadas na seção source de atividade de copiar:

Propriedade Descrição Obrigatório
tipo A propriedade type da fonte de atividade de cópia deve ser definida como: InformixSource Sim
consulta Use a consulta personalizada para ler dados. Por exemplo: "SELECT * FROM MyTable". Não (se "tableName" estiver especificado no conjunto de dados)

Exemplo:

"activities":[
    {
        "name": "CopyFromInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Informix input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "InformixSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Informix como lavatório

Para copiar dados para o Informix, as seguintes propriedades são suportadas na secção destino da atividade de cópia:

Propriedade Descrição Obrigatório
tipo A propriedade type do coletor de atividade de cópia deve ser definida como: InformixSink Sim
writeBatchTimeout Aguarde o tempo para que a operação de inserção em lote seja concluída antes que ela atinja o tempo limite.
Os valores permitidos são: intervalo de tempo. Exemplo: "00:30:00" (30 minutos).
Não
writeBatchSize Insere dados na tabela SQL quando o tamanho do buffer atinge writeBatchSize.
Os valores permitidos são: inteiro (número de linhas).
Não (o padrão é 0 - detetado automaticamente)
preCopyScript Especifique uma consulta SQL para Atividade de Cópia a ser executada antes de gravar dados no armazenamento de dados em cada execução. Você pode usar essa propriedade para limpar os dados pré-carregados. Não
 máximo de conexões concorrentes O limite superior de conexões simultâneas estabelecidas para o armazenamento de dados durante a execução da atividade. Especifique um valor somente quando quiser limitar conexões simultâneas.  Não

Exemplo:

"activities":[
    {
        "name": "CopyToInformix",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<Informix output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "InformixSink"
            }
        }
    }
]

Propriedades da atividade de consulta

Para saber detalhes sobre as propriedades, verifique Atividade de Pesquisa.

Para obter uma lista de armazenamentos de dados suportados como fontes e destinos pela atividade de cópia, consulte armazenamentos de dados suportados.