如何在sparkscala中编写以下数据验证逻辑

ycl3bljg  于 2021-07-14  发布在  Spark
关注(0)|答案(0)|浏览(223)

关闭。这个问题需要细节或清晰。它目前不接受答案。
**想改进这个问题吗?**通过编辑这个帖子来添加细节并澄清问题。

昨天关门了。
改进这个问题
如果第1列等于
第2列等于空格,然后如果第3列=字符串且不等于空格,则继续检查。else显示“record number”,“error field:col3=”field,description as“:not string”,abend终止程序。结束if
我试着这样做:

if((df3.col("col1")==" ") && (df3.col("col2")==" ") ){
   if(df3.dtypes["col3"]=='string')
 }
 else {
   sys.exit()
 }

但我面临的问题是如何检查列的数据类型和显示“记录编号”,如果任何记录有任何问题。
谁能帮我一下吗。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题