Condividi tramite

Usare l'attività Pig di Hadoop per trasformare i dati in Azure Data Factory o Synapse Analytics

SI APPLICA A: Azure Data Factory Azure Synapse Analytics

Suggerimento

Provare Data Factory in Microsoft Fabric, una soluzione di analisi all-in-one per le aziende. Microsoft Fabric copre tutto, dallo spostamento dati al data science, all'analisi in tempo reale, alla business intelligence e alla creazione di report. Vedere le informazioni su come iniziare una nuova prova gratuita!

L'attività HDInsight Pig in una pipeline di Data Factory esegue query Pig sul proprio cluster HDInsight o su uno su richiesta. Questo articolo si basa sull'articolo relativo alle attività di trasformazione dei dati che presenta una panoramica generale della trasformazione dei dati e le attività di trasformazione supportate.

Per altre informazioni, leggere l'introduzione ad Azure Data Factory o Synapse Analytics ed eseguire l'esercitazione : trasformare i dati prima di leggere questo articolo.

Aggiungere a una pipeline un'attività Pig di HDInsight con l'interfaccia utente

Per usare un'attività Pig di HDInsight in una pipeline, completare la procedura seguente:

  1. Cerca Pig nel riquadro Attività della Pipeline e trascina un'attività Pig nell'area di disegno della Pipeline.

  2. Selezionare la nuova attività Pig nell'area di disegno, se non è già selezionata.

  3. Selezionare la scheda Cluster HDI per selezionare o creare un nuovo servizio collegato in un cluster HDInsight che verrà usato per eseguire l'attività MapReduce.

    Mostra l'interfaccia utente per un'attività Pig.

  4. Selezionare la scheda Script per selezionare o creare un nuovo servizio collegato in un'area di archiviazione di Azure in cui verrà ospitato lo script. Specificare un nome di classe da eseguire in quella sede e un percorso di file all'interno della posizione di archiviazione. È anche possibile configurare dettagli avanzati, tra cui la configurazione di debug, gli argomenti e i parametri da passare allo script.

    Visualizza l'interfaccia utente della scheda Script per un'attività Pig.

Sintassi

{
    "name": "Pig Activity",
    "description": "description",
    "type": "HDInsightPig",
    "linkedServiceName": {
        "referenceName": "MyHDInsightLinkedService",
        "type": "LinkedServiceReference"
    },
    "typeProperties": {
        "scriptLinkedService": {
            "referenceName": "MyAzureStorageLinkedService",
            "type": "LinkedServiceReference"
        },
        "scriptPath": "MyAzureStorage\\PigScripts\\MyPigScript.pig",
        "getDebugInfo": "Failure",
        "arguments": [
            "SampleHadoopJobArgument1"
        ],
        "defines": {
            "param1": "param1Value"
        }
    }   
}

Dettagli sintassi

Proprietà Descrizione Richiesto
nome Nome dell'attività Sì
descrizione Testo che descrive l'uso dell'attività No
tipo Per l'attività Hive, il tipo di attività è HDInsightPig Sì
nomeServizioCollegato Riferimento al cluster HDInsight registrato come servizio collegato. Per informazioni su questo servizio collegato, vedere l'articolo Servizi collegati di calcolo. Sì
scriptLinkedService Riferimento a un servizio collegato di Archiviazione di Azure usato per archiviare lo script Pig da eseguire. Qui sono supportati solo i servizi collegati Archiviazione BLOB di Azure e ADLS Gen2. Se non si specifica questo servizio collegato, viene usato il servizio collegato Archiviazione di Azure definito nel servizio collegato HDInsight. No
scriptPath Specificare il percorso del file di script archiviato nel servizio Archiviazione di Azure indicato da scriptLinkedService. Il nome del file distingue tra maiuscole e minuscole. No
getDebugInfo Specifica quando i file di log vengono copiati nell'Archiviazione di Azure usata dal cluster HDInsight (o) indicata da scriptLinkedService. Valori consentiti: Nessuno, Sempre o Errore. Valore predefinito: None. No
argomenti Specifica una matrice di argomenti per un processo Hadoop. Gli argomenti vengono passati a ogni attività come argomenti della riga di comando. No
definisce Specificare i parametri come coppie chiave/valore per i riferimenti all'interno dello script Pig. No

Contenuto correlato

Vedere gli articoli seguenti, che illustrano altre modalità di trasformazione dei dati:

  • Last updated on