text (DataFrameReader)

Carrega arquivos de texto e retorna um DataFrame cujo esquema começa com uma coluna de cadeia de caracteres nomeada value, seguida por colunas particionadas, se houver. Os arquivos de texto devem ser codificados como UTF-8. Por padrão, cada linha no arquivo de texto é uma nova linha no DataFrame resultante.

Sintaxe

text(paths, wholetext=False, lineSep=None, **options)

Parâmetros

Devoluções

DataFrame

Exemplos

Escreva um DataFrame em um arquivo de texto e leia-o novamente.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+