Gegevens kopiëren van en naar ODBC-gegevensarchieven met behulp van Azure Data Factory of Synapse Analytics

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Tip

Data Factory in Microsoft Fabric is de volgende generatie van Azure Data Factory, met een eenvoudigere architectuur, ingebouwde AI en nieuwe functies. Als u nieuw bent in gegevensintegratie, begint u met Fabric Data Factory. Bestaande ADF-workloads kunnen upgraden naar Fabric om toegang te krijgen tot nieuwe mogelijkheden voor gegevenswetenschap, realtime analyses en rapportage.

In dit artikel wordt beschreven hoe u de kopieeractiviteit in Azure Data Factory kunt gebruiken om gegevens van en naar een ODBC-gegevensarchief te kopiëren. Het is gebaseerd op het artikel 'Overzicht kopieeractiviteit', waarin een algemeen overzicht van de kopieeractiviteit wordt gegeven.

Ondersteunde mogelijkheden

Deze ODBC-connector wordt ondersteund voor de volgende mogelijkheden:

Ondersteunde mogelijkheden IR
Copy activity (bron/sink) (2)
Lookup-activiteit (2)

(1) Azure Integration Runtime (2) Zelf-gehoste Integration Runtime

Zie de tabel Ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen/sinks.

Deze ODBC-connector ondersteunt het kopiëren van gegevens van/naar alle ODBC-compatibele gegevensarchieven met behulp van Basis - of Anonieme verificatie. Er is een 64-bits ODBC-stuurprogramma vereist. Voor ODBC-sink ondersteunt de service ODBC versie 2.0 standard.

Vereisten

Als u deze ODBC-connector wilt gebruiken, moet u het volgende doen:

  • Stel een zelf-hostende Integration Runtime in. Zie Self-hosted Integration Runtime artikel voor meer informatie.
  • Installeer het 64-bits ODBC-stuurprogramma voor het gegevensarchief op de Integration Runtime computer.

Aan de slag

Als u de kopieeractiviteit wilt uitvoeren met een pijplijn, kunt u een van de volgende hulpprogramma's of SDK's gebruiken:

Een gekoppelde service maken voor een ODBC-gegevensarchief met behulp van de gebruikersinterface

Gebruik de volgende stappen om een gekoppelde service te maken voor een ODBC-gegevensarchief in de gebruikersinterface van de Azure-portal.

  1. Blader naar het tabblad Beheren in uw Azure Data Factory- of Synapse-werkruimte en selecteer Gekoppelde services en klik vervolgens op Nieuw:

  2. Zoek naar ODBC en selecteer de ODBC-connector.

    Schermopname van de ODBC-connector.

  3. Configureer de servicedetails, test de verbinding en maak de nieuwe gekoppelde service.

    Schermopname van de configuratie van een gekoppelde service voor een ODBC-gegevensarchief.

De configuratiedetails van de connector

De volgende secties bevatten details over eigenschappen die worden gebruikt voor het definiëren van Data Factory-entiteiten die specifiek zijn voor ODBC-connector.

Eigenschappen van gekoppelde service

De volgende eigenschappen worden ondersteund voor de gekoppelde ODBC-service:

Eigenschap Beschrijving Vereist
type De typeeigenschap moet worden ingesteld op: Odbc Ja
connectionString De verbindingstekenreeks zonder het referentieonderdeel. U kunt het connection string opgeven met een patroon zoals Driver={SQL Server};Server=Server.database.windows.net; Database=TestDatabase; of het systeem-DSN (gegevensbronnaam) gebruiken dat u hebt ingesteld op de Integration Runtime machine met DSN=<name of the DSN on IR machine>; (u moet nog steeds het referentiegedeelte in de gekoppelde service opgeven).
U kunt ook een wachtwoord in Azure Key Vault plaatsen en de password-configuratie uit de connection string halen. Zie Referenties opslaan in Azure Key Vault voor meer details.
Ja
authenticatietype Type verificatie dat wordt gebruikt om verbinding te maken met het ODBC-gegevensarchief.
Toegestane waarden zijn: Basis en Anoniem.
Ja
gebruikersnaam Geef de gebruikersnaam op als u basisverificatie gebruikt. Nee
wachtwoord Geef het wachtwoord op voor het gebruikersaccount dat u hebt opgegeven voor de gebruikersnaam. Markeer dit veld als securestring om het veilig op te slaan of verwijzing van een geheim dat is opgeslagen in Azure Key Vault. Nee
inloggegevens Het deel met de toegangsinformatie van de connection string gespecificeerd in een stuurprogrammaspecifiek eigenschaps-waardeformaat. Voorbeeld: "RefreshToken=<secret refresh token>;". Markeer dit veld als securestring. Nee
connectVia De Integration Runtime dat moet worden gebruikt om verbinding te maken met de gegevensopslag. Een zelf-hostende Integration Runtime is vereist, zoals vermeld in Prerequisites. Ja

Voorbeeld 1: basisverificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Basic",
            "userName": "<username>",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Voorbeeld 2: anonieme verificatie gebruiken

{
    "name": "ODBCLinkedService",
    "properties": {
        "type": "Odbc",
        "typeProperties": {
            "connectionString": "<connection string>",
            "authenticationType": "Anonymous",
            "credential": {
                "type": "SecureString",
                "value": "RefreshToken=<secret refresh token>;"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Eigenschappen van gegevensset

Zie het artikel gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-gegevensset.

Als u gegevens wilt kopiëren van/naar odbc-compatibel gegevensarchief, worden de volgende eigenschappen ondersteund:

Eigenschap Beschrijving Vereist
type De typeeigenschap van de gegevensset moet worden ingesteld op: OdbcTable Ja
tableName Naam van de tabel in het ODBC-gegevensarchief. Nee voor bron (als 'query' in de activiteitsbron is opgegeven);
Ja voor sink

Voorbeeld

{
    "name": "ODBCDataset",
    "properties": {
        "type": "OdbcTable",
        "schema": [],
        "linkedServiceName": {
            "referenceName": "<ODBC linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "tableName": "<table name>"
        }
    }
}

Als u RelationalTable getypte gegevensset gebruikt, wordt deze nog steeds ondersteund terwijl u wordt aangeraden de nieuwe gegevensset te gebruiken.

Copy activity eigenschappen

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ODBC-bron.

ODBC als bron

Als u gegevens wilt kopiëren uit het odBC-compatibele gegevensarchief, worden de volgende eigenschappen ondersteund in de sectie bron van de kopieeractiviteit:

Eigenschap Beschrijving Vereist
type De typeeigenschap van de bron van de kopieeractiviteit moet worden ingesteld op: OdbcSource Ja
zoekopdracht Gebruik de aangepaste SQL-query om gegevens te lezen. Voorbeeld: "SELECT * FROM MyTable". Nee (als 'tableName' in de gegevensset is opgegeven)

Voorbeeld:

"activities":[
    {
        "name": "CopyFromODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<ODBC input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "OdbcSource",
                "query": "SELECT * FROM MyTable"
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Als u RelationalSource getypte bron gebruikt, wordt deze nog steeds ondersteund, terwijl u wordt aangeraden de nieuwe bron te gebruiken.

ODBC als sink

Als u gegevens wilt kopiëren naar een met ODBC compatibel gegevensarchief, stelt u het sinktype in de kopieeractiviteit in op OdbcSink. De volgende eigenschappen worden ondersteund in de sectie sink voor kopieeractiviteit:

Eigenschap Beschrijving Vereist
type De typeeigenschap van de sink van de kopieeractiviteit moet worden ingesteld op: OdbcSink Ja
writeBatchTimeout Wachttijd totdat de batchinvoegbewerking voltooid is, voordat er een time-out optreedt.
Toegestane waarden zijn: tijdspanne. Voorbeeld: '00:30:00' (30 minuten).
Nee
writeBatchSize Hiermee worden gegevens in de SQL-tabel ingevoegd wanneer de buffergrootte writeBatchSize bereikt.
Toegestane waarden zijn: geheel getal (aantal rijen).
Nee (standaard is 0 - automatisch gedetecteerd)
preCopyScript Geef in elke uitvoering een SQL-query op voor kopieeractiviteit die moet worden uitgevoerd voordat u gegevens naar het gegevensarchief schrijft. U kunt deze eigenschap gebruiken om de vooraf geladen gegevens op te schonen. Nee

Notitie

Als 'writeBatchSize' niet is ingesteld (automatisch gedetecteerd), detecteert de kopieeractiviteit eerst of het stuurprogramma batchbewerkingen ondersteunt en stelt deze in op 10000 als dit het geval is, of stelt deze in op 1 als dat niet het geval is. Als u de andere waarde dan 0 expliciet instelt, wordt de waarde gehonoreerd en mislukt de kopieeractiviteit tijdens runtime als het stuurprogramma geen batchbewerkingen ondersteunt.

Voorbeeld:

"activities":[
    {
        "name": "CopyToODBC",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<ODBC output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "<source type>"
            },
            "sink": {
                "type": "OdbcSink",
                "writeBatchSize": 100000
            }
        }
    }
]

Eigenschappen van opzoekactiviteit

Als u meer wilt weten over de eigenschappen, raadpleegt u de opzoekactiviteit.

Verbindingsproblemen oplossen

Als u verbindingsproblemen wilt oplossen, gebruikt u het tabblad Diagnostics van Integration Runtime Configuration Manager.

  1. Start Integration Runtime Configuration Manager.
  2. Ga naar het tabblad Diagnostische gegevens.
  3. Selecteer in de sectie Verbinding testen het type gegevensarchief (gekoppelde service).
  4. Geef de connection string op die wordt gebruikt om verbinding te maken met het gegevensarchief; kies de authentication en voer gebruikernaam, password en/of credentials in.
  5. Klik op Verbinding testen om de verbinding met het gegevensarchief te testen.

Zie ondersteunde gegevensarchieven voor een lijst met gegevensarchieven die worden ondersteund als bronnen en sinks door de kopieeractiviteit.