eqNullSafe

Likhetstest som är säkert för null-värden.

Har lagts till i Databricks Runtime 11.0

Har ändrats i Databricks Runtime 13.0: Stöder Spark Connect.

Syntax

eqNullSafe(other)

Parameters

Retur

Kolumn

Notes

Till skillnad från Pandas anser PySpark inte att NaN-värden är NULL. Mer information finns i NaN-semantiken .

Exempel

from pyspark.sql import Row
df1 = spark.createDataFrame([
    Row(id=1, value='foo'),
    Row(id=2, value=None)
])
df1.select(
    df1['value'] == 'foo',
    df1['value'].eqNullSafe('foo'),
    df1['value'].eqNullSafe(None)
).show()

# +-------------+---------------+----------------+
# |(value = foo)|(value <=> foo)|(value <=> NULL)|
# +-------------+---------------+----------------+
# |         true|           true|           false|
# |         NULL|          false|            true|
# +-------------+---------------+----------------+