Transformera data med Hadoop Streaming-aktivitet i Azure Data Factory eller Synapse Analytics

GÄLLER FÖR: Azure Data Factory Azure Synapse Analytics

Tips

Data Factory i Microsoft Fabric är nästa generations Azure Data Factory, med en enklare arkitektur, inbyggd AI och nya funktioner. Om dataintegrering är nytt för dig börjar du med Fabric Data Factory. Befintliga ADF-arbetsbelastningar kan uppgraderas till Fabric för att få åtkomst till nya funktioner inom datavetenskap, realtidsanalys och rapportering.

HDInsight-direktuppspelningsaktiviteten i ett Azure Data Factory- eller Synapse Analytics-pipeline kör Hadoop Streaming-program på din egen eller on-demand HDInsight-kluster. Den här artikeln bygger på artikeln om datatransformeringsaktiviteter , som visar en allmän översikt över datatransformering och de omvandlingsaktiviteter som stöds.

Läs igenom introduktionsartiklarna Azure Data Factory och Synapse Analytics och gör Tutorial: transformera data innan du läser den här artikeln.

Lägg till en HDInsight Streaming-aktivitet i en pipeline med användargränssnittet

Utför följande steg för att använda en HDInsight Streaming-aktivitet till en pipeline:

  1. Sök efter Direktuppspelning i fönstret Pipelineaktiviteter och dra en direktuppspelningsaktivitet till pipelinearbetsytan.

  2. Välj den nya direktuppspelningsaktiviteten på arbetsytan om den inte redan är markerad.

  3. Välj fliken HDI-kluster för att välja eller skapa en ny länkad tjänst till ett HDInsight-kluster som ska användas för att köra strömningsaktiviteten.

    Visar användargränssnittet för en strömningsaktivitet.

  4. Välj fliken File för att ange mappnings- och reducernamnen för ditt strömningsjobb och välj eller skapa en ny länkad tjänst till ett Azure Storage konto som kommer att mappa, minska, mata in och mata ut filer för jobbet. Du kan också konfigurera avancerade detaljer, inklusive felsökningskonfiguration, argument och parametrar för att skickas till jobbet.

    Visar användargränssnittet för fliken Arkiv för en direktuppspelningsaktivitet.

JSON-exempel

{
    "name": "Streaming Activity",
    "description": "Description",
    "type": "HDInsightStreaming",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "mapper": "MyMapper.exe",
        "reducer": "MyReducer.exe",
        "combiner": "MyCombiner.exe",
        "fileLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "filePaths": [
            "<containername>/example/apps/MyMapper.exe",
            "<containername>/example/apps/MyReducer.exe",
            "<containername>/example/apps/MyCombiner.exe"
        ],
        "input": "wasb://<containername>@<accountname>.blob.core.windows.net/example/input/MapperInput.txt",
        "output": "wasb://<containername>@<accountname>.blob.core.windows.net/example/output/ReducerOutput.txt",
        "commandEnvironment": [
            "CmdEnvVarName=CmdEnvVarValue"
        ],
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }
}

Syntaxinformation

Egenskap Beskrivning Obligatoriskt
namn Namnet på aktiviteten Ja
beskrivning Text som beskriver vad aktiviteten används för Nej
typ För Hadoop Streaming Activity är aktivitetstypen HDInsightStreaming Ja
länkadTjänstNamn Referens till HDInsight-klustret som registrerats som en länkad tjänst. Mer information om den här länkade tjänsten finns i artikeln Compute linked services (Beräkningslänkade tjänster ). Ja
Mapper Anger namnet på den exekverbara mapparen Ja
Reducerare Anger namnet på den körbara reducer-funktionen Ja
Kombinator Anger namnet på den körbara kombinationsappen Nej
fileLinkedService Referens till en Azure Storage länkad tjänst som används för att lagra de Mapper-, Combiner- och Reducer-program som ska köras. Här stöds endast Azure Blob Storage och ADLS Gen2 länkade tjänster. Om du inte anger den här länkade tjänsten används den Azure Storage-länkade tjänsten som definieras i HDInsight-länkad tjänst. Nej
filePath Ange en matris med sökvägen till de Mapper-, Combiner- och Reducer-program som lagras i Azure Storage som refereras av fileLinkedService. Sökvägen är skiftlägeskänslig. Ja
indata Anger WASB-sökvägen till indatafilen för Mapper. Ja
resultat Anger WASB-sökvägen till utdatafilen för reducern. Ja
getDebugInfo Anger när loggfilerna kopieras till den Azure Storage som används av HDInsight-klustret (eller) som anges av scriptLinkedService. Tillåtna värden: Ingen, Alltid eller Fel. Standardvärde: Ingen. Nej
Argument Anger en matris med argument för ett Hadoop-jobb. Argumenten skickas som kommandoradsargument till varje uppgift. Nej
Definierar Ange parametrar som nyckel/värde-par för referens i Hive-skriptet. Nej

Relaterat innehåll

Se följande artiklar som förklarar hur du transformerar data på andra sätt:

  • Last updated on