Spark警告“CSV header does not conform to the schema”是否可以通过配置更改为故障，并停止当前操作？

dfty9e19 于 2023-07-31 发布在 Spark

关注(0)|答案(1)|浏览(263)

这个 Spark 警告非常方便，在我们使用新的csv文件从2022切换到2023的时候。
它注意到我们不再匹配了。这个警告已经解释了我的事情，救了我几十次。

WARN CSVDataSource: CSV header does not conform to the schema.
Header: VendorID, passenger_count, trip_distance, RatecodeID, ...
Schema: VendorID, store_and_fwd_flag, RatecodeID, PULocationID, ...

字符串
有没有一种方法，通过 Spark 配置，要求它停止当前的错误操作，而不仅仅是发出警告？

csv

来源：https://stackoverflow.com/questions/76611561/can-the-spark-warning-csv-header-does-not-conform-to-the-schema-be-changed-to

1条答案

按热度按时间

zd287kbt1#

检查这个issue我认为你可以通过添加

spark.read.option("enforceSchema", false)

字符串

赞(0）回复(0）举报 2023-07-31

我来回答

Spark警告“CSV header does not conform to the schema”是否可以通过配置更改为故障，并停止当前操作？

1条答案

相关问题

热门标签

最新问答