text (DataFrameReader)

Läser in textfiler och returnerar ett DataFrame vars schema börjar med en strängkolumn med namnet value, följt av eventuella partitionerade kolumner. Textfiler måste kodas som UTF-8. Som standard är varje rad i textfilen en ny rad i resulterande DataFrame.

Syntax

text(paths, wholetext=False, lineSep=None, **options)

Parameters

Parameter Type Beskrivning
paths str eller lista En eller flera indatasökvägar.
wholetext bool, valfritt Om Trueläser du varje fil som en enskild rad. Standard är False.
lineSep str, valfritt Den linjeavgränsare som ska användas. Standardvärdet är '\n', '\r'eller '\r\n'.

Retur

DataFrame

Exempel

Skriv en DataFrame till en textfil och läs tillbaka den.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+
  • Last updated on