如何从aws glue中的动态Dataframe中删除错误记录?

vd2z7a6w  于 2021-06-01  发布在  Hadoop
关注(0)|答案(1)|浏览(335)

我有一个动态Dataframe,其中包含错误记录。请找到下面的代码。

val rawDataFrame = glueContext.getCatalogSource(database = rawDBName, tableName = rawTBLName).getDynamicFrame();
    println(s"RAW_DF-----count: ${rawDataFrame.count} errors: ${rawDataFrame.errorsCount}")

上面的print语句打印如下。

RAW_DF-----count: 168456 errors: 4

我需要创建一个动态Dataframe,其中只包含168456条记录,我需要消除4个错误记录。请帮助。

mrwjdhj3

mrwjdhj31#

错误记录未转换为spark的Dataframe,因此请尝试将dynamicframe转换为df并返回:

val noErrorsDyf = DynamicFrame(rawDataFrame.toDF(), glueContext)

相关问题