ORC-indeling in Azure Data Factory en Synapse Analytics

Van toepassing op: Azure Data Factory Azure Synapse Analytics

Volg dit artikel als u de ORC-bestanden wilt parseren of de gegevens naar ORC-indeling wilt schrijven.

ORC-indeling wordt ondersteund voor de volgende connectors: Amazon S3, Amazon S3 Compatible Storage, Azure Blob, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2, Azure Files, File System, FTP, Google Cloud Storage, HDFS, HTTP, Oracle Cloud Storage en SFTP.

Eigenschappen van gegevensset

Zie het artikel Gegevenssets voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van gegevenssets . Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ORC-gegevensset.

Hieronder ziet u een voorbeeld van een ORC-gegevensset op Azure Blob Storage:

{
    "name": "OrcDataset",
    "properties": {
        "type": "Orc",
        "linkedServiceName": {
            "referenceName": "<Azure Blob Storage linked service name>",
            "type": "LinkedServiceReference"
        },
        "schema": [ < physical schema, optional, retrievable during authoring > ],
        "typeProperties": {
            "location": {
                "type": "AzureBlobStorageLocation",
                "container": "containername",
                "folderPath": "folder/subfolder",
            }
        }
    }
}

Let op de volgende punten:

• Complexe gegevenstypen (bijvoorbeeld MAP, LIST, STRUCT) worden momenteel alleen ondersteund in Gegevensstroom s, niet in kopieeractiviteit. Als u complexe typen in gegevensstromen wilt gebruiken, importeert u het bestandsschema niet in de gegevensset, waardoor het schema leeg blijft in de gegevensset. Importeer vervolgens de projectie in de brontransformatie.
• Witruimte in kolomnaam wordt niet ondersteund.

Copy activity eigenschappen

Zie het artikel Pijplijnen voor een volledige lijst met secties en eigenschappen die beschikbaar zijn voor het definiëren van activiteiten. Deze sectie bevat een lijst met eigenschappen die worden ondersteund door de ORC-bron en -sink.

ORC als bron

De volgende eigenschappen worden ondersteund in de sectie kopieeractiviteit *source* .

ORC als sink

De volgende eigenschappen worden ondersteund in de sectie kopieeractiviteit *sink* .

Ondersteunde ORC-schrijfinstellingen onder formatSettings:

Eigenschappen van toewijzingsgegevensstroom

In toewijzingsgegevensstromen kunt u de ORC-indeling lezen en schrijven in de volgende gegevensarchieven: Azure Blob Storage, Azure Data Lake Storage Gen1, Azure Data Lake Storage Gen2 en SFTP en u kunt ORC-indeling lezen in Amazon S3.

U kunt verwijzen naar ORC-bestanden met behulp van ORC-gegevensset of met behulp van een inlinegegevensset.

Broneigenschappen

De onderstaande tabel bevat de eigenschappen die worden ondersteund door een ORC-bron. U kunt deze eigenschappen bewerken op het tabblad Bronopties .

Wanneer u een inlinegegevensset gebruikt, ziet u aanvullende bestandsinstellingen, die hetzelfde zijn als de eigenschappen die worden beschreven in de sectie eigenschappen van de gegevensset.

Bronvoorbeeld

Het bijbehorende gegevensstroomscript van een ORC-bronconfiguratie is:

source(allowSchemaDrift: true,
    validateSchema: false,
    rowUrlColumn: 'fileName',
    format: 'orc') ~> OrcSource

Sink-eigenschappen

De onderstaande tabel bevat de eigenschappen die worden ondersteund door een ORC-sink. U kunt deze eigenschappen bewerken op het tabblad Instellingen .

Wanneer u een inlinegegevensset gebruikt, ziet u aanvullende bestandsinstellingen, die hetzelfde zijn als de eigenschappen die worden beschreven in de sectie eigenschappen van de gegevensset.

Sink-voorbeeld

Het bijbehorende gegevensstroomscript van een ORC-sinkconfiguratie is:

OrcSource sink(
    format: 'orc',
    filePattern:'output[n].orc',
    truncate: true,
    allowSchemaDrift: true,
    validateSchema: false,
    skipDuplicateMapInputs: true,
    skipDuplicateMapOutputs: true) ~> OrcSink

Zelf-hostende Integration Runtime gebruiken

Voor kopiëren die wordt uitgevoerd op zelf-hostende IR met ORC-bestandsserialisatie/deserialisatie, zoekt de service de Java runtime door eerst het register (SOFTWARE\JavaSoft\Java Runtime Environment\{Current Version}\JavaHome) voor JRE te controleren, indien niet gevonden, ten tweede systeemvariabele JAVA_HOME voor OpenJDK controleren.

• Jre gebruiken: voor de 64-bits IR is 64-bits JRE vereist. U vindt het hier.
• OpenJDK gebruiken: dit wordt ondersteund sinds IR versie 3.13. Verpakt de jvm.dll met alle andere vereiste assembly's van OpenJDK in een zelf-hostende IR-machine en stel de omgevingsvariabele van het systeem dienovereenkomstig in JAVA_HOME.
• Visual C++ 2010 Redistributable Package installeren: Visual C++ 2010 Redistributable Package is niet geïnstalleerd met zelf-hostende IR-installaties. U vindt het hier.

Voorbeeld: variabele _JAVA_OPTIONS instellen met waarde -Xms256m -Xmx16g. De vlag Xms geeft de eerste geheugentoewijzingsgroep voor een Java virtuele machine (JVM) op, terwijl Xmx de maximale geheugentoewijzingsgroep specificeert. Dit betekent dat JVM wordt gestart met Xms een hoeveelheid geheugen en een maximale Xmx hoeveelheid geheugen kan gebruiken. De service gebruikt standaard min. 64 MB en maximaal 1G.

Gerelateerde inhoud

• overzicht van Copy activity
• Activiteit Lookup
• GetMetadata-activiteit