bestaat (DataFrame)

Retourneert een Column object voor een EXISTS-subquery.

Syntaxis

exists()

Retouren

Column: Een Column object dat een EXISTS-subquery vertegenwoordigt.

Aantekeningen

De exists methode biedt een manier om een Booleaanse kolom te maken die controleert op de aanwezigheid van gerelateerde records in een subquery. Wanneer deze methode wordt toegepast binnen een DataFrame, kunt u rijen filteren op basis van of overeenkomende records aanwezig zijn in de gerelateerde gegevensset. Het resulterende Column object kan rechtstreeks worden gebruikt in filtervoorwaarden of als berekende kolom.

Examples

data_customers = [
    (101, "Alice", "USA"), (102, "Bob", "Canada"), (103, "Charlie", "USA"),
    (104, "David", "Australia")
]
data_orders = [
    (1, 101, "2023-01-15", 250), (2, 102, "2023-01-20", 300),
    (3, 103, "2023-01-25", 400), (4, 101, "2023-02-05", 150)
]
customers = spark.createDataFrame(
    data_customers, ["customer_id", "customer_name", "country"])
orders = spark.createDataFrame(
    data_orders, ["order_id", "customer_id", "order_date", "total_amount"])

from pyspark.sql import functions as sf
customers.alias("c").where(
    orders.alias("o").where(
        sf.col("o.customer_id") == sf.col("c.customer_id").outer()
    ).exists()
).orderBy("customer_id").show()
# +-----------+-------------+-------+
# |customer_id|customer_name|country|
# +-----------+-------------+-------+
# |        101|        Alice|    USA|
# |        102|          Bob| Canada|
# |        103|      Charlie|    USA|
# +-----------+-------------+-------+

customers.alias("c").where(
    ~orders.alias("o").where(
        sf.col("o.customer_id") == sf.col("c.customer_id").outer()
    ).exists()
).orderBy("customer_id").show()
# +-----------+-------------+---------+
# |customer_id|customer_name|  country|
# +-----------+-------------+---------+
# |        104|        David|Australia|
# +-----------+-------------+---------+