spark.read.json中的regex

iezvtpos  于 2021-05-27  发布在  Hadoop
关注(0)|答案(1)|浏览(374)

我想从hadoop目录中读取所有在当前时间前一小时有时间戳的json文件。文件名类似于test_

import java.util.Calendar;

import java.text.SimpleDateFormat;

val form = new SimpleDateFormat("yyyyMMddhh");

val c = Calendar.getInstance();

c.add(Calendar.HOUR, -1);

val path ="/Test_"+form.format(c.getTime())+"*";

val test_df = spark.read.json(path)

当我运行这个代码时:路径不存在错误来了。有人能建议如何读取像test_{任何可能的数字组合}这样的文件名吗??

r7xajy2e

r7xajy2e1#

一个快速测试显示你有分钟 form.format(c.getTime()) res2: String = 2020021401 所以把最新的两辆车拆了
当做

相关问题