pandas_api

Konverterar den befintliga dataramen till en Pandas-on-Spark DataFrame.

Syntax

pandas_api(index_col: Optional[Union[str, List[str]]] = None)

Parameters

Parameter Type Beskrivning
index_col str eller lista över str, valfritt Indexkolumn för tabellen i Spark.

Retur

PandasOnSparkDataFrame

Notes

Om en Pandas-on-Spark DataFrame konverteras till en Spark DataFrame och sedan tillbaka till Pandas-on-Spark förlorar den indexinformationen och det ursprungliga indexet omvandlas till en normal kolumn.

Detta är endast tillgängligt om Pandas är installerat och tillgängligt.

Exempel

df = spark.createDataFrame(
    [(14, "Tom"), (23, "Alice"), (16, "Bob")], ["age", "name"])

df.pandas_api()
#    age   name
# 0   14    Tom
# 1   23  Alice
# 2   16    Bob

df.pandas_api(index_col="age")
#       name
# age
# 14     Tom
# 23   Alice
# 16     Bob