Dataframe值与pyspark中的数字进行比较

dsekswqp 于 2021-05-27 发布在 Spark

关注(0)|答案(1)|浏览(354)

我有一个Dataframe，其中只有一个值，我想比较它的数值，并提出一个错误的基础上。
像这样：

df=spark.sql("""
select count(1) as count_check from schema.table) 
""")

df.select("count_check").show()

if df.value == 0:
    print("ALL GOOD")
else:
    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")

我可以使用show（）打印它，但无法正确比较，因为一个是dataframe，另一个是整数。请告知。

python DataFrame apache-spark pyspark

来源：https://stackoverflow.com/questions/63080705/dataframe-value-comparison-with-a-numeric-in-pyspark

1条答案

按热度按时间

yacmzcpb1#

您需要收集要在python上下文中使用的dataframe列值

df = spark.sql('select count(1) as count_check from schema.table')
value = df.collect()[0][0]

if value == 0:
    print("ALL GOOD")
else:
    raise Exception("ATAR DATA MISMATCH, RESULT COUNT IS NOT ZERO!")

赞(0）回复(0）举报 2021-05-27

我来回答

Dataframe值与pyspark中的数字进行比较

1条答案

相关问题

热门标签

最新问答