randomSplit

Divide aleatoriamente este DataFrame con los pesos proporcionados.

Sintaxis

randomSplit(weights: List[float], seed: Optional[int] = None)

Parámetros

Parámetro Tipo Descripción
weights lista lista de dobles como pesos con los que dividir el dataframe. Los pesos se normalizarán si no suman hasta 1,0.
seed int, opcional Inicialización para el muestreo.

Devoluciones

list: lista de dataframes.

Ejemplos

from pyspark.sql import Row
df = spark.createDataFrame([
    Row(age=10, height=80, name="Alice"),
    Row(age=5, height=None, name="Bob"),
    Row(age=None, height=None, name="Tom"),
    Row(age=None, height=None, name=None),
])

splits = df.randomSplit([1.0, 2.0], 24)
splits[0].count()
# 2
splits[1].count()
# 2
  • Last updated on