Kommentar
Åtkomst till den här sidan kräver auktorisering. Du kan prova att logga in eller ändra kataloger.
Åtkomst till den här sidan kräver auktorisering. Du kan prova att ändra kataloger.
Avro är ett radbaserat data serialiseringsformat som ofta används i Apache Hadoop-arbetsbelastningar. Den här artikeln beskriver hur du konfigurerar Avro-format i en pipeline för kopieringsaktivitet i Data Factory i Microsoft Fabric.
Funktioner som stöds
Avro-format stöds för följande aktiviteter och anslutningar som källa och mål.
| Kategori | Anslutning/Aktivitet |
|---|---|
| Stödd anslutare | Amazon S3 |
| Amazon S3-kompatibel | |
| Azure Blob Storage | |
| Azure Data Lake Storage Gen2 | |
| Azure Files | |
| Filsystem | |
| FTP | |
| Google Cloud Storage | |
| HTTP | |
| Lakehouse-filer | |
| Oracle Cloud Storage | |
| SFTP | |
| Aktivitet som stöds | Kopieringsaktivitet (källa/mål) |
| Sökningsaktivitet | |
| GetMetadata-aktivitet | |
| Ta bort aktivitet |
Avro-format vid kopiering
Om du vill konfigurera Avro-format väljer du din anslutning i källan eller målet för pipelinekopieringsaktiviteten och väljer sedan Avro i listrutan filformat. Välj Inställningar för ytterligare konfiguration av det här formatet.
Avro-format som källa
När du har valt Inställningar i avsnittet Filformat visas följande egenskaper i dialogrutan Inställningar för filformat i popup-fönstret.
Komprimeringstyp: Välj den komprimeringskodc som används för att läsa Avro-filer i listrutan. Du kan välja mellan Ingen eller deflatera. Du kan också välja Lägg till dynamiskt innehåll för att ange typen i uttrycksverktyget.
Komprimeringsnivå: Ange komprimeringsförhållandet. Välj mellan 1 och 7. Du kan också välja Lägg till dynamiskt innehåll för att ange nivån i uttrycksverktyget.
Avro-format som mål
När du har valt Inställningar visas följande egenskaper i dialogrutan inställningar för filformat i popup-fönstret.
Komprimeringstyp: Välj den komprimeringscodec som kommer att användas för att skriva Avro-filer i listrutan. Du kan välja mellan Ingen eller deflatera. Du kan också välja Lägg till dynamiskt innehåll för att ange typen i uttrycksverktyget.
Komprimeringsnivå: Ange komprimeringsförhållandet. Välj mellan 1 och 7. Du kan också välja Lägg till dynamiskt innehåll för att ange nivån i uttrycksverktyget.
Under Avancerade inställningar på fliken Mål visas följande relaterade egenskaper för Avro-format.
- Maximalt antal rader per fil: När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil.
-
Filnamnsprefix: Gäller när Maximalt antal rader per fil har konfigurerats. Ange filnamnsprefixet när du skriver data till flera filer, vilket resulterade i det här mönstret:
<fileNamePrefix>_00000.<fileExtension>. Om det inte anges genereras filnamnsprefixet automatiskt. Den här egenskapen gäller inte när källan är ett filbaserat arkiv eller ett partitionsalternativ aktiverat datalager.
Egenskaper för Avro kopieringsaktivitet
Avro som källa
Följande egenskaper stöds i avsnittet Käll för kopieringsaktivitet när du använder Avro-formatet.
| Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
|---|---|---|---|---|
| Filformat | Det filformat som du vill använda. | Avro | Ja | typ (under datasetSettings):Avro |
| Komprimeringstyp | Komprimeringskodcen som används för att läsa Avro-filer. |
None deflate |
Nej | avroCompressionCodec: avkomprimera |
| Komprimeringsnivå | Komprimeringsförhållandet. | 1 till 7 | Nej | avroCompressionLevel: 1 till 7 |
Avro som mål
Följande egenskaper stöds i avsnittet Mål för kopieringsaktivitet när du använder Avro-formatet.
| Name | Beskrivning | Värde | Obligatoriskt | JSON-skriptegenskap |
|---|---|---|---|---|
| Filformat | Det filformat som du vill använda. | Avro | Ja | typ (under datasetSettings):Avro |
| Komprimeringstyp | Komprimeringskodcen som används för att skriva Avro-filer. |
None deflate |
Nej | avroCompressionCodec: avkomprimera |
| Komprimeringsnivå | Komprimeringsförhållandet. | 1 till 7 | Nej | avroCompressionLevel: 1 till 7 |
| Maximalt antal rader per fil | När du skriver data till en mapp kan du välja att skriva till flera filer och ange maximalt antal rader per fil. | < maximalt antal rader per fil > | Nej | maxRowsPerFile |
| Filnamnsprefix | Gäller när Maximalt antal rader per fil har konfigurerats. Ange filnamnsprefixet när du skriver data till flera filer, vilket resulterade i det här mönstret: <fileNamePrefix>_00000.<fileExtension>. Om det inte anges genereras filnamnsprefixet automatiskt. Den här egenskapen gäller inte när källan är ett filbaserat arkiv eller ett partitionsalternativ aktiverat datalager. |
< ditt filnamnsprefix > | Nej | filnamnsprefix |