Kopiera data från HDFS-servern med hjälp av Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Den här artikeln beskriver hur du kopierar data från HDFS-servern (Hadoop Distributed File System). Mer information finns i introduktionsartiklarna för Azure Data Factory och Synapse Analytics.

Funktioner som stöds

Den här HDFS-anslutningsappen stöds för följande funktioner:

(1) Azure integration runtime (2) Lokalt installerad integrationskörning

Mer specifikt stöder HDFS-anslutningsappen:

• Kopiera filer med hjälp av Windows (Kerberos) eller Anonymous-autentisering.
• Kopiera filer med hjälp av webhdfs-protokollet eller inbyggt DistCp-stöd .
• Kopiera filer som de är eller genom att parsa eller generera filer med de filformat och komprimeringskodex som stöds.

Förutsättningar

Om ditt datalager finns i ett lokalt nätverk, ett Azure virtuellt nätverk eller Amazon Virtual Private Cloud måste du konfigurera en självhostad integrationskörning för att ansluta till den.

Om ditt datalager är en hanterad molndatatjänst kan du använda Azure Integration Runtime. Om åtkomsten är begränsad till IP-adresser som är godkända i brandväggsreglerna kan du lägga till Azure Integration Runtime IP-adresser i listan över tillåtna.

Du kan också använda funktionen hanterad virtuell nätverksintegrering i Azure Data Factory för att få åtkomst till det lokala nätverket utan att installera och konfigurera en integrationskörning med egen värd.

Mer information om de nätverkssäkerhetsmekanismer och alternativ som stöds av Data Factory finns i Strategier för dataåtkomst.

Kom igång

Om du vill utföra kopieringsaktiviteten med en pipeline kan du använda något av följande verktyg eller SDK:er:

• Kopiera data-verktyget
• Azure Portal
• .NET SDK
• Python SDK
• Azure PowerShell
• REST-API
• mall för Azure Resource Manager

Skapa en länkad tjänst till HDFS med hjälp av användargränssnittet

Använd följande steg för att skapa en länkad tjänst till HDFS i användargränssnittet för Azure portalen.

1. Bläddra till fliken Hantera på din Azure Data Factory- eller Synapse-arbetsyta och välj Länkade tjänster och klicka sedan på Nytt:

   • Azure Data Factory
   • Azure Synapse

   

2. Sök efter HDFS och välj HDFS-anslutningsappen.

   

3. Konfigurera tjänstinformationen, testa anslutningen och skapa den nya länkade tjänsten.

   

Konfigurationsinformation för anslutning

Följande avsnitt innehåller information om egenskaper som används för att definiera Data Factory-entiteter som är specifika för HDFS.

Länkade tjänstegenskaper

Följande egenskaper stöds för den länkade HDFS-tjänsten:

Exempel: använda anonym autentisering

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Anonymous",
            "userName": "hadoop"
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Exempel: använda Windows-autentisering

{
    "name": "HDFSLinkedService",
    "properties": {
        "type": "Hdfs",
        "typeProperties": {
            "url" : "http://<machine>:50070/webhdfs/v1/",
            "authenticationType": "Windows",
            "userName": "<username>@<domain>.com (for Kerberos auth)",
            "password": {
                "type": "SecureString",
                "value": "<password>"
            }
        },
        "connectVia": {
            "referenceName": "<name of Integration Runtime>",
            "type": "IntegrationRuntimeReference"
        }
    }
}

Egenskaper för datamängd

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera datauppsättningar finns i Datauppsättningar.

Azure Data Factory stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för HDFS under location inställningar i den formatbaserade datauppsättningen:

Exempel:

{
    "name": "DelimitedTextDataset",
    "properties": {
        "type": "DelimitedText",
        "linkedServiceName": {
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, auto retrieved during authoring > ],
        "typeProperties": {
            "location": {
                "type": "HdfsLocation",
                "folderPath": "root/folder/subfolder"
            },
            "columnDelimiter": ",",
            "quoteChar": "\"",
            "firstRowAsHeader": true,
            "compressionCodec": "gzip"
        }
    }
}

Egenskaper av kopieringsaktivitet

En fullständig lista över avsnitt och egenskaper som är tillgängliga för att definiera aktiviteter finns i Pipelines och aktiviteter. Det här avsnittet innehåller en lista över egenskaper som stöds av HDFS-källan.

HDFS som källa

Azure Data Factory stöder följande filformat. Se varje artikel för formatbaserade inställningar.

• Avro-format
• Binärt format
• Avgränsat textformat
• Excel-format
• JSON-format
• ORC-format
• Parquet-format
• XML-format

Följande egenskaper stöds för HDFS under storeSettings inställningar i den formatbaserade kopieringskällan:

Exempel:

"activities":[
    {
        "name": "CopyFromHDFS",
        "type": "Copy",
        "inputs": [
            {
                "referenceName": "<Delimited text input dataset name>",
                "type": "DatasetReference"
            }
        ],
        "outputs": [
            {
                "referenceName": "<output dataset name>",
                "type": "DatasetReference"
            }
        ],
        "typeProperties": {
            "source": {
                "type": "DelimitedTextSource",
                "formatSettings":{
                    "type": "DelimitedTextReadSettings",
                    "skipLineCount": 10
                },
                "storeSettings":{
                    "type": "HdfsReadSettings",
                    "recursive": true,
                    "distcpSettings": {
                        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
                        "tempScriptPath": "/usr/hadoop/tempscript",
                        "distcpOptions": "-m 100"
                    }
                }
            },
            "sink": {
                "type": "<sink type>"
            }
        }
    }
]

Exempel på mapp- och filfilter

I det här avsnittet beskrivs hur beteendet blir om du använder filter med jokertecken i mappsökvägen och filnamnet.

Exempel på fillista

Det här avsnittet beskriver det beteende som uppstår vid användning av en fillistesökväg i källan för kopieringsaktivitet. Det förutsätter att du har följande källmappstruktur och vill kopiera filerna som är av fetstil:

Använda DistCp för att kopiera data från HDFS

DistCp är ett hadoop-internt kommandoradsverktyg för att utföra en distribuerad kopia i ett Hadoop-kluster. När du kör ett kommando i DistCp visas först alla filer som ska kopieras och skapar sedan flera mappningsjobb i Hadoop-klustret. Varje map-jobb utför en binär kopiering från källan till mottagaren.

Copy-aktiviteten stöder användningen av DistCp för att kopiera filer som de är till Azure Blob-lagring (inklusive stegvis kopiering) eller en Azure Data Lake Store. I det här fallet kan DistCp dra nytta av klustrets kraft i stället för att köra på den lokala integrationskörningen. Att använda DistCp ger bättre dataflöde för kopiering, särskilt om klustret är mycket kraftfullt. Baserat på konfigurationen skapar Copy activity automatiskt ett DistCp-kommando, skickar det till Hadoop-klustret och övervakar kopieringsstatusen.

Förutsättningar

Om du vill använda DistCp för att kopiera filer från HDFS till Azure Blob Storage (inklusive mellanlagrad kopia) eller Azure Data Lake Store kontrollerar du att Hadoop-klustret uppfyller följande krav:

• MapReduce- och YARN-tjänsterna är aktiverade.

• YARN-versionen är 2.5 eller senare.

• HDFS-servern är integrerad med måldatalagret: Azure Blob Storage eller Azure Data Lake Store (ADLS Gen1):

  • Azure Blob FileSystem stöds internt sedan Hadoop 2.7. Du behöver bara ange JAR-sökvägen i Hadoop-miljökonfigurationen.
  • Azure Data Lake Store FileSystem paketeras från Hadoop 3.0.0-alpha1. Om hadoop-klusterversionen är tidigare än den versionen måste du manuellt importera Azure Data Lake Store-relaterade JAR-paket (azure-datalake-store.jar) till klustret från here och ange JAR-filsökvägen i Hadoop-miljökonfigurationen.

• Förbered en temp-mapp i HDFS. Den här temporära mappen används för att lagra ett DistCp-gränssnittsskript, så den upptar utrymme på KB-nivå.

• Kontrollera att det användarkonto som tillhandahålls i den länkade HDFS-tjänsten har behörighet att:

  • Skicka in en applikation i YARN.
  • Skapa en undermapp och läsa/skriva filer under temp-mappen.

-konfigurationer

För DistCp-relaterade konfigurationer och exempel går du till avsnittet HDFS som källa .

Använda Kerberos-autentisering för HDFS-anslutningsappen

Det finns två alternativ för att konfigurera den lokala miljön för att använda Kerberos-autentisering för HDFS-anslutningsappen. Du kan välja den som passar din situation bättre.

• Alternativ 1: Ansluta till en lokalt installerad integrationskörningsdator i Kerberos-sfären
• Alternativ 2: Aktivera ömsesidig tillit mellan Windows-domänen och Kerberos-domänen

För båda alternativen kontrollerar du att du aktiverar webhdfs för Hadoop-kluster:

1. Skapa HTTP-huvudnamnet och nyckelfliken för webhdfs.

   Viktigt!

   HTTP Kerberos-huvudkontot måste börja med "HTTP/" enligt Kerberos HTTP SPNEGO-specifikation. Läs mer här.

   Kadmin> addprinc -randkey HTTP/<namenode hostname>@<REALM.COM>
   Kadmin> ktadd -k /etc/security/keytab/spnego.service.keytab HTTP/<namenode hostname>@<REALM.COM>
   

2. HDFS-konfigurationsalternativ: Lägg till följande tre egenskaper i hdfs-site.xml.

   <property>
       <name>dfs.webhdfs.enabled</name>
       <value>true</value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.principal</name>
       <value>HTTP/_HOST@<REALM.COM></value>
   </property>
   <property>
       <name>dfs.web.authentication.kerberos.keytab</name>
       <value>/etc/security/keytab/spnego.service.keytab</value>
   </property>
   

Alternativ 1: Ansluta till en lokalt installerad integrationskörningsdator i Kerberos-sfären

Krav

• Den lokalt installerade integrationskörningsdatorn måste ansluta till Kerberos-sfären och kan inte ansluta till någon Windows domän.

Hur man konfigurerar

På KDC-servern:

Skapa ett huvudkonto och ange ett lösenord.

Kadmin> addprinc <username>@<REALM.COM>

På den lokalt installerade integrationskörningsdatorn:

1. Kör Ksetup-verktyget för att konfigurera Kerberos Key Distribution Center (KDC) server och sfär.

   Datorn måste konfigureras som medlem i en arbetsgrupp eftersom en Kerberos-sfär skiljer sig från en Windows domän. Du kan uppnå den här konfigurationen genom att ange Kerberos-sfären och lägga till en KDC-server genom att köra följande kommandon. Ersätt REALM.COM med ditt eget sfärnamn.

   C:> Ksetup /setdomain REALM.COM
   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   

   Starta om datorn när du har kört dessa kommandon.

2. Kontrollera konfigurationen med Ksetup kommandot . Utdata bör se ut så här:

   C:> Ksetup
   default realm = REALM.COM (external)
   REALM.com:
       kdc = <your_kdc_server_address>
   

I din datafabrik eller Synapse-arbetsyta:

• Konfigurera HDFS-anslutningsappen med hjälp av Windows authentication tillsammans med kerberos-huvudnamnet och lösenordet för att ansluta till HDFS-datakällan. Information om konfigurationen finns i avsnittet för länkade HDFS-tjänstegenskaper .

Alternativ 2: Aktivera ömsesidigt förtroende mellan Windows-domänen och Kerberos-sfären

Krav

• Den lokalt installerade integrationskörningsdatorn måste ansluta till en Windows domän.
• Du behöver behörighet att uppdatera domänkontrollantens inställningar.

Hur man konfigurerar

På KDC-servern:

1. Redigera KDC-konfigurationen i filen krb5.conf så att KDC kan lita på Windows domänen genom att referera till följande konfigurationsmall. Som standard finns konfigurationen på /etc/krb5.conf.

   [logging]
    default = FILE:/var/log/krb5libs.log
    kdc = FILE:/var/log/krb5kdc.log
    admin_server = FILE:/var/log/kadmind.log
   
   [libdefaults]
    default_realm = REALM.COM
    dns_lookup_realm = false
    dns_lookup_kdc = false
    ticket_lifetime = 24h
    renew_lifetime = 7d
    forwardable = true
   
   [realms]
    REALM.COM = {
     kdc = node.REALM.COM
     admin_server = node.REALM.COM
    }
   AD.COM = {
    kdc = windc.ad.com
    admin_server = windc.ad.com
   }
   
   [domain_realm]
    .REALM.COM = REALM.COM
    REALM.COM = REALM.COM
    .ad.com = AD.COM
    ad.com = AD.COM
   
   [capaths]
    AD.COM = {
     REALM.COM = .
    }
   

   När du har konfigurerat filen startar du om KDC-tjänsten.

2. Förbered ett huvudnamn med namnet krbtgt/REALM.COM@AD.COM på KDC-servern med följande kommando:

   Kadmin> addprinc krbtgt/REALM.COM@AD.COM
   

3. I konfigurationsfilen för hadoop.security.auth_to_local HDFS-tjänsten lägger du till RULE:[1:$1@$0](.*\@AD.COM)s/\@.*//.

På domänkontrollanten:

1. Kör följande Ksetup kommandon för att lägga till en sfärpost:

   C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
   C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
   

2. Upprätta förtroende från Windows-domänen till Kerberos-realm. [lösenord] är lösenordet för huvudkontot krbtgt/REALM.COM@AD.COM.

   C:> netdom trust REALM.COM /Domain: AD.COM /add /realm /password:[password]
   

3. Välj krypteringsalgoritmen som används i Kerberos.

   a. Välj Server Manager>Group Policy Management>Domain>Group Policy Objects>Default eller Active Domain Policy och välj sedan Redigera.

   b. I fönstret Group Policy Management Editor väljer du Datorkonfiguration>Principer>Windows Inställningar>Säkerhetsinställningar>Lokala principer>Säkerhetsalternativ, och konfigurera sedan Nätverkssäkerhet: Konfigurera krypteringstyper som tillåts för Kerberos.

   c. Välj den krypteringsalgoritm som du vill använda när du ansluter till KDC-servern. Du kan välja alla alternativ.

   

   d. Ksetup Använd kommandot för att ange krypteringsalgoritmen som ska användas på den angivna sfären.

   C:> ksetup /SetEncTypeAttr REALM.COM DES-CBC-CRC DES-CBC-MD5 RC4-HMAC-MD5 AES128-CTS-HMAC-SHA1-96 AES256-CTS-HMAC-SHA1-96
   

4. Skapa mappningen mellan domänkontot och Kerberos-huvudkontot så att du kan använda Kerberos-huvudnamnet i Windows domänen.

   a. Välj Administrativa verktyg>Active Directory-användare och -datorer.

   b. Konfigurera avancerade funktioner genom att välja Visa>avancerade funktioner.

   c. Högerklicka på det konto som du vill skapa mappningar till i fönstret Avancerade funktioner och välj fliken Kerberos-namn i fönstret Namnmappningar.

   d. Lägg till ett huvudnamn från sfären.

   

På den lokalt installerade integrationskörningsdatorn:

• Kör följande Ksetup kommandon för att lägga till en sfärpost.

  C:> Ksetup /addkdc REALM.COM <your_kdc_server_address>
  C:> ksetup /addhosttorealmmap HDFS-service-FQDN REALM.COM
  

I din datafabrik eller Synapse-arbetsyta:

• Konfigurera HDFS-anslutningsappen med hjälp av Windows authentication tillsammans med antingen ditt domänkonto eller Kerberos-huvudnamn för att ansluta till HDFS-datakällan. Mer information om konfiguration finns i avsnittet för länkade HDFS-tjänstegenskaper .

Egenskaper för uppslagsaktivitet

Information om egenskaper för uppslagsaktivitet finns i Sökningsaktivitet.

Ta bort aktivitetsegenskaper

Information om egenskaper för ta bort aktivitet finns i Ta bort aktivitet.

Äldre modeller

Äldre datauppsättningsmodell

Exempel:

{
    "name": "HDFSDataset",
    "properties": {
        "type": "FileShare",
        "linkedServiceName":{
            "referenceName": "<HDFS linked service name>",
            "type": "LinkedServiceReference"
        },
        "typeProperties": {
            "folderPath": "folder/subfolder/",
            "fileName": "*",
            "modifiedDatetimeStart": "2018-12-01T05:00:00Z",
            "modifiedDatetimeEnd": "2018-12-01T06:00:00Z",
            "format": {
                "type": "TextFormat",
                "columnDelimiter": ",",
                "rowDelimiter": "\n"
            },
            "compression": {
                "type": "GZip",
                "level": "Optimal"
            }
        }
    }
}

Äldre Copy activity källmodell

Exempel: HDFS-källa i Kopieringsaktivitet med DistCp

"source": {
    "type": "HdfsSource",
    "distcpSettings": {
        "resourceManagerEndpoint": "resourcemanagerendpoint:8088",
        "tempScriptPath": "/usr/hadoop/tempscript",
        "distcpOptions": "-m 100"
    }
}

Relaterat innehåll

En lista över datalager som stöds som källor och mottagare av Copy activity finns i stödda datalager.