优化计划的数据集大小返回的数字太大

7dl7o3gd  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(257)

我有一个小的数据集,当写为Parquet时,它占用82kb。
我正试图用下面的命令预先计算数据集的大小。

BigInt original Size = SparkUtility.sparkSession().sessionState().executePlan(dataSet.queryExecution().logical()).optimizedPlan().stats().sizeInBytes();

这里的问题是它太大了,例如它返回1553303854747465490(1e)。有人能解释我做错了什么吗?。我希望值应该是82000(字节)

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题