inputFiles

Retourne une capture instantanée optimale des fichiers qui composent ce DataFrame. Cette méthode demande simplement à chaque baserelation constituante pour ses fichiers respectifs et prend l’union de tous les résultats. Selon les relations sources, cela peut ne pas trouver tous les fichiers d’entrée. Les doublons sont supprimés.

Syntaxe

inputFiles()

Retours

list : liste des chemins d’accès aux fichiers.

Exemples

import os
import tempfile
with tempfile.TemporaryDirectory(prefix="inputFiles") as d:
    spark.createDataFrame(
        [{"age": 100, "name": "Alice"}]
    ).repartition(1).write.json(d, mode="overwrite")

    df = spark.read.format("json").load(d)

    if os.environ.get('PYTEST_DBCONNECT_MODE') is None:
        len(df.inputFiles())
    else:
        1  # dbconnect doesn't support inputFiles.
# 1