我正在尝试在pyspark中加载包含2015年到2020年数据的文件。我用正则表达式。
所有正则表达式都在一个网站上进行了检查。但是，当我在pyspark中使用它们时，它会显示错误。看起来hdfs不喜欢括号。我试过不同的变种
# .load("hdfs:///data/ghcnd/daily/20(1[5-9]|20).csv.gz")
# .load("hdfs:///data/ghcnd/daily/20(15|16|17|18|19|20).csv.gz")
如何正确编写它们，以便从2015年到2020年的文件中加载数据？
1条答案
按热度按时间u59ebvdq1#
试着用大括号
{}保持你所有的价值观。spark.read.csv("/tmp/20{15,16}.csv").show()
+----+
| _c0|
+----+
|2015|
|2016|
+----+
$cat 2015.csv
2015
$cat 2016.csv
2016