spark应用程序

iaqfqrcu  于 2021-05-27  发布在  Spark
关注(0)|答案(0)|浏览(276)

我是spark的新手,我有一个java语言的应用程序,我正尝试用java语言在spark上重新编程。我有一个用java编写的功能:

public boolean isbetween(Date date, Date start, Date end) {
    try {
        if (!date.before(start) && !date.after(end)) {
            return true;
        }
        return false;
    } catch (Exception e) {
        return false;
    }
}

我想在spark上重新编程这个函数。
我有两个数据集:

+-------+-------------------+
|    nom|         date_track|
+-------+-------------------+
|record1|2020-02-13 14:53:08|
|record2|2020-02-18 15:25:03|
|record3|2020-02-20 10:11:03|
|record4|2020-02-19 10:23:43|
|record5|2020-02-19 11:23:03|
|record6|2019-02-19 14:21:54|
|record7|2020-02-30 10:14:54|
|record8|2020-02-25 10:17:41|
+-------+-------------------+
+--------+-------------------+-------------------+
|     nom|         start_date|           end_date|
+--------+-------------------+-------------------+
| record9|2020-02-18 14:53:07|2020-02-18 18:53:07|
|record10|2020-02-19 10:25:03|2020-02-19 14:25:03|
|record11|2020-02-19 10:24:03|2020-02-19 16:24:03|
|record12|2020-02-19 10:23:43|2020-02-19 20:23:43|
|record13|2020-02-19 10:23:03|2020-02-19 17:23:03|
|record14|2020-02-19 10:21:54|2020-02-19 21:21:54|
|record15|2020-02-19 10:18:54|2020-02-19 15:18:54|
|record16|2020-02-19 10:17:54|2020-02-19 19:17:54|
+--------+-------------------+-------------------+

我尝试了以下代码来执行函数中的操作

DF1.join(DF2.filter(!functions.col("date_track").lt("start_date") ) && (!functions.col("date_track").gt("end_date")));

但它不起作用。如果你有什么办法帮我。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题