inputFiles

Returnerar en ögonblicksbild av de filer som utgör dataramen. Den här metoden frågar helt enkelt varje komponent BaseRelation för sina respektive filer och tar union av alla resultat. Beroende på källrelationerna kanske inte alla indatafiler hittas. Dubbletter tas bort.

Syntax

inputFiles()

Retur

list: Lista över filsökvägar.

Exempel

import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).repartition(1).write.json(d, mode="overwrite")

    df = spark.read.format("json").load(d)

    if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
        len(df.inputFiles())
    else:
        1  # dbconnect doesn't support inputFiles.
# 1