text (DataFrameReader)

Carga archivos de texto y devuelve un DataFrame cuyo esquema comienza con una columna de cadena denominada value, seguida de columnas con particiones si hay alguna presente. Los archivos de texto se deben codificar como UTF-8. De forma predeterminada, cada línea del archivo de texto es una nueva fila en el dataframe resultante.

Sintaxis

text(paths, wholetext=False, lineSep=None, **options)

Parámetros

Parámetro Tipo Descripción
paths str o list Una o varias rutas de acceso de entrada.
wholetext bool, opcional Si Truees , lea cada archivo como una sola fila. El valor predeterminado es False.
lineSep str, opcional Separador de línea que se va a usar. El valor predeterminado es '\n', '\r'o '\r\n'.

Devoluciones

DataFrame

Ejemplos

Escriba un DataFrame en un archivo de texto y vuelva a leerlo.

import tempfile
with tempfile.TemporaryDirectory(prefix="text") as d:
    df = spark.createDataFrame([("a",), ("b",), ("c",)], schema=["alphabets"])
    df.write.mode("overwrite").format("text").save(d)

    spark.read.schema(df.schema).text(d).sort("alphabets").show()
    # +---------+
    # |alphabets|
    # +---------+
    # |        a|
    # |        b|
    # |        c|
    # +---------+
  • Last updated on