Remarque
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de vous connecter ou de modifier des répertoires.
L’accès à cette page nécessite une autorisation. Vous pouvez essayer de modifier des répertoires.
Fractionne de façon aléatoire ce DataFrame avec les pondérations fournies.
Syntaxe
randomSplit(weights: List[float], seed: Optional[int] = None)
Paramètres
| Paramètre | Type | Description |
|---|---|---|
weights |
liste | liste de doubles comme poids avec lesquels fractionner le DataFrame. Les poids seront normalisés s’ils ne correspondent pas à 1,0. |
seed |
int, facultatif | Valeur initiale de l’échantillonnage. |
Retours
list : liste des DataFrames.
Exemples
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80, name="Alice"),
Row(age=5, height=None, name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=None, name=None),
])
splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2