我想从hadoop目录中读取所有在当前时间前一小时有时间戳的json文件。文件名类似于test_
import java.util.Calendar;
import java.text.SimpleDateFormat;
val form = new SimpleDateFormat("yyyyMMddhh");
val c = Calendar.getInstance();
c.add(Calendar.HOUR, -1);
val path ="/Test_"+form.format(c.getTime())+"*";
val test_df = spark.read.json(path)
当我运行这个代码时:路径不存在错误来了。有人能建议如何读取像test_{任何可能的数字组合}这样的文件名吗??
1条答案
按热度按时间r7xajy2e1#
一个快速测试显示你有分钟
form.format(c.getTime()) res2: String = 2020021401
所以把最新的两辆车拆了当做