optie (DataFrameWriterV2)

Hiermee voegt u een schrijfoptie toe voor de onderliggende gegevensbron. Zie Opties voor een aantal beschikbare opties.

Syntaxis

option(key, value)

Parameterwaarden

Kenmerk Typ Beschrijving
key str De optietoets.
value str, int, float of bool De optiewaarde.

Options

De volgende tabel bevat enkele schrijfopties:

Key Formaten Beschrijving
arrayElementName XML De elementnaam voor matrixelementen zonder expliciete naam. Standaard: item. Van toepassing op xml (DataFrameWriter).
attributePrefix XML Het voorvoegsel dat is voorafgegaan aan veldnamen die overeenkomen met XML-kenmerken. Standaard: _. Van toepassing op xml (DataFrameWriter).
avroSchema Avro Het volledige Avro-schema als een JSON-tekenreeks. Gebruik deze optie om Spark SQL-typen te converteren naar specifieke Avro-typen. Van toepassing op Avro-bestand.
charToEscapeQuoteEscaping CSV Het teken dat wordt gebruikt om het escape-teken te ontsnappen wanneer het afwijkt van het aanhalingsteken. Standaard: \0 (niet ingeschakeld). Van toepassing op CSV (DataFrameWriter).
clusterByAuto Delta Lake Of automatische liquide clustering moet worden ingeschakeld, waarbij Azure Databricks clusteringkolommen selecteert op basis van querypatronen. Alleen geldig met mode("overwrite"). Kan niet worden gebruikt met append de modus. Standaard: false. Beschikbaar in Databricks Runtime 16.4 en hoger. Is van toepassing op Liquid Clustering gebruiken voor tabellen.
compression CSV, JSON, ORC, Parquet, Text, XML Compressiecodec die moet worden gebruikt bij het schrijven. Geldige waarden variëren per indeling. Van toepassing op csv (DataFrameWriter), json (DataFrameWriter), orc (DataFrameWriter), parquet (DataFrameWriter), tekst (DataFrameWriter), xml (DataFrameWriter).
dateFormat CSV, JSON, XML Tekenreeks opmaken voor datumkolomwaarden. Standaard: yyyy-MM-dd. Van toepassing op csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
declaration XML De XML-declaratietekenreeks die boven aan elk uitvoerbestand is geschreven. Ingesteld op een lege tekenreeks om de declaratie te onderdrukken. Standaard: version="1.0" encoding="UTF-8" standalone="yes". Van toepassing op xml (DataFrameWriter).
emptyValue CSV De tekenreeks die is geschreven voor lege (niet-null) waarden. Standaard: "". Van toepassing op CSV (DataFrameWriter).
encoding CSV, JSON, XML De tekencodering voor de uitvoerbestanden. Standaard: UTF-8. Van toepassing op csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
escape CSV Het teken dat wordt gebruikt om waarden tussen aanhalingstekens te ontsnappen. Standaard: \. Van toepassing op CSV (DataFrameWriter).
escapeQuotes CSV Of u aanhalingstekens tussen aanhalingstekens in veldwaarden tussen aanhalingstekens wilt ontsnappen. Standaard: true. Van toepassing op CSV (DataFrameWriter).
header CSV Of u kolomnamen wilt schrijven als de eerste regel van de uitvoer. Standaard: false. Van toepassing op CSV (DataFrameWriter).
ignoreLeadingWhiteSpace CSV Of u voorloopspaties wilt knippen van waarden bij het schrijven. Standaard: false. Van toepassing op CSV (DataFrameWriter).
ignoreNullFields JSON Hiermee wordt aangegeven of velden met null-waarden uit de JSON-uitvoer moeten worden weggelaten. Standaardwaarde: waarde van spark.sql.jsonGenerator.ignoreNullFields. Van toepassing op json (DataFrameWriter).
ignoreTrailingWhiteSpace CSV Of u volgspaties van waarden wilt knippen tijdens het schrijven. Standaard: false. Van toepassing op CSV (DataFrameWriter).
lineSep CSV, JSON, tekst De tekenreeks voor regelscheidingstekens die tussen records wordt gebruikt. Standaard: \n. Van toepassing op csv (DataFrameWriter), json (DataFrameWriter), tekst (DataFrameWriter).
mergeSchema Delta Lake Of u de ontwikkeling van schema's voor de schrijfbewerking wilt inschakelen. Nieuwe kolommen in het dataframe van de bron worden toegevoegd aan het doeltabelschema. Van toepassing op batch- en streaming-toevoegbewerkingen. Is van toepassing op updatetabelschema.
nullValue CSV Tekenreeks die is geschreven voor null-waarden. Standaard: "". Van toepassing op CSV (DataFrameWriter).
nullValue XML De tekenreeks die is geschreven voor null-waarden. Standaard: null. Wanneer deze waarde is ingesteld null, worden kenmerken en onderliggende elementen voor null-velden weggelaten. Van toepassing op xml (DataFrameWriter).
overwriteSchema Delta Lake Of u het tabelschema en de partitionering wilt vervangen bij het overschrijven. Vereist mode("overwrite") zonder replaceWhere. Kan niet worden gebruikt met partitionOverwriteMode. Is van toepassing op updatetabelschema.
partitionOverwriteMode Delta Lake De partitie overschrijfmodus. Stel dit in om dynamic alleen partities met nieuwe gegevens te overschrijven, waardoor alle andere partities ongewijzigd blijven. Verouderde modus; niet ondersteund op serverloze berekeningen of Databricks SQL. Van toepassing op selectief overschrijven van gegevens met Delta Lake.
quote CSV Het teken dat wordt gebruikt voor het aanhalen van veldwaarden die het scheidingsteken bevatten. Standaard: ". Van toepassing op CSV (DataFrameWriter).
quoteAll CSV Of alle veldwaarden tussen aanhalingstekens moeten worden geplaatst, ongeacht de inhoud. Standaard: false. Van toepassing op CSV (DataFrameWriter).
recordName Avro De recordnaam op het hoogste niveau in het Avro-uitvoerschema. Standaard: topLevelRecord. Van toepassing op Avro-bestand.
recordNamespace Avro De naamruimte voor de record op het hoogste niveau in het Avro-uitvoerschema. Standaard: "". Van toepassing op Avro-bestand.
replaceWhere Delta Lake Een predicaatexpressie. Atomisch overschrijft alleen de records die overeenkomen met het predicaat. Van toepassing op selectief overschrijven van gegevens met Delta Lake.
rootTag XML De hoofdelementtag waarmee alle rijelementen in de uitvoer worden verpakt. Standaard: ROWS. Van toepassing op xml (DataFrameWriter).
rowTag XML De elementtag die een rij in de uitvoer vertegenwoordigt. Standaard: ROW. Van toepassing op xml (DataFrameWriter).
sep CSV Het veldscheidingsteken. Standaard: ,. Van toepassing op CSV (DataFrameWriter).
timestampFormat CSV, JSON, XML De notatietekenreeks voor tijdstempelkolomwaarden. Standaard: yyyy-MM-dd'T'HH:mm:ss[.SSS][XXX]. Van toepassing op csv (DataFrameWriter), json (DataFrameWriter), xml (DataFrameWriter).
txnAppId Delta Lake Een unieke tekenreeks die de toepassing identificeert voor idempotente schrijfbewerkingen.foreachBatch Gebruik dit samen om txnVersion precies één keer schrijfbewerkingen naar meerdere Delta Lake-tabellen te garanderen. Is van toepassing op Gebruik foreachBatch voor idempotente tabelschrijfbewerkingen.
txnVersion Delta Lake Een monotonisch toenemend aantal dat wordt gebruikt als transactieversie voor idempotente schrijfbewerkingen.foreachBatch Gebruik dit samen om txnAppId precies één keer schrijfbewerkingen naar meerdere Delta Lake-tabellen te garanderen. Is van toepassing op Gebruik foreachBatch voor idempotente tabelschrijfbewerkingen.
userMetadata Delta Lake, Apache Iceberg Een door de gebruiker gedefinieerde tekenreeks die is toegevoegd aan de doorvoermetagegevens voor de schrijfbewerking. Zichtbaar in de uitvoer van DESCRIBE HISTORY. Van toepassing op Verrijken-tabellen met aangepaste metagegevens.
validateName XML Of een uitzondering moet worden gegenereerd als een kolomnaam geen geldige XML-element-id is. Standaard: true. Van toepassing op xml (DataFrameWriter).
valueTag XML De veldnaam die wordt gebruikt voor tekengegevens in XML-elementen die ook kenmerken of onderliggende elementen bevatten. Standaard: _VALUE. Van toepassing op xml (DataFrameWriter).

Retouren

DataFrameWriterV2

  • Last updated on