Notitie
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen u aan te melden of de directory te wijzigen.
Voor toegang tot deze pagina is autorisatie vereist. U kunt proberen de mappen te wijzigen.
Retourneert een nieuw DataFrame waarbij rijen met null- of NaN-waarden worden weggelaten.
DataFrame.dropna en DataFrameNaFunctions.drop zijn aliassen van elkaar.
Syntaxis
dropna(how: str = "any", thresh: Optional[int] = None, subset: Optional[Union[str, Tuple[str, ...], List[str]]] = None)
Parameterwaarden
| Kenmerk | Typ | Beschrijving |
|---|---|---|
how |
str, optioneel, standaard 'any' | de waarden die 'any' of 'all' kunnen zijn. Als er 'een' is, zet u een rij neer als deze null-waarden bevat. Als 'alles' is, zet u een rij alleen neer als alle waarden null zijn. |
thresh |
int, optioneel, standaard Geen | Als dit is opgegeven, zet u rijen neer die kleiner zijn dan thresh niet-null-waarden. Hiermee wordt de how parameter overschreven. |
subset |
str, tuple of list, optioneel | optionele lijst met kolomnamen die u kunt overwegen. |
Retouren
DataFrame: DataFrame met alleen null-rijen uitgesloten.
Examples
from pyspark.sql import Row
df = spark.createDataFrame([
Row(age=10, height=80.0, name="Alice"),
Row(age=5, height=float("nan"), name="Bob"),
Row(age=None, height=None, name="Tom"),
Row(age=None, height=float("nan"), name=None),
])
df.na.drop().show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10| 80.0|Alice|
# +---+------+-----+
df.na.drop(how='all').show()
# +----+------+-----+
# | age|height| name|
# +----+------+-----+
# | 10| 80.0|Alice|
# | 5| NaN| Bob|
# |NULL| NULL| Tom|
# +----+------+-----+
df.na.drop(thresh=2).show()
# +---+------+-----+
# |age|height| name|
# +---+------+-----+
# | 10| 80.0|Alice|
# | 5| NaN| Bob|
# +---+------+-----+