texte (DataFrameReader)

Charge les fichiers texte et retourne un DataFrame schéma dont le schéma commence par une colonne de chaîne nommée value, suivie de colonnes partitionnée si elles sont présentes. Les fichiers texte doivent être encodés en UTF-8. Par défaut, chaque ligne du fichier texte est une nouvelle ligne dans le DataFrame résultant.

Syntaxe

text(paths, wholetext=False, lineSep=None, **options)

Paramètres

Paramètre Type Description
paths str ou list Un ou plusieurs chemins d’accès d’entrée.
wholetext bool, facultatif Si True, lisez chaque fichier sous la forme d’une seule ligne. La valeur par défaut est False.
lineSep str, facultatif Séparateur de ligne à utiliser. La valeur par défaut est '\n', '\r'ou '\r\n'.

Retours

DataFrame

Exemples

Écrivez un DataFrame dans un fichier texte et lisez-le.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+
  • Last updated on