apachespark:将结果保存到数据库

nimxete2  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(399)

我目前正在尝试Spark流。我已经能够获得所需的结果,但现在我只是在终端上打印如下:

myResults.print()

将结果打印到终端。
我试图实现的是一个类似于此的体系结构。
是否有任何方法可以将这些结果写入数据库中的表中。我怎样才能做到这一点,我应该使用哪个数据库?

sqyvllje

sqyvllje1#

我该怎么做
使用foreachpartition并编写一个voidfunction,保存到所选的数据源。
我应该使用哪个数据库?
你在玩什么?你打算怎么处理这些数据?一根绳子有多长?

2w3kk1z5

2w3kk1z52#

我应该使用哪个数据库??
好吧,这完全取决于你对数据的要求,一旦数据被持久化到磁盘上,你想对它做什么。您可以选择任何适合您需要的数据库,从mysql、oracle、mongodb等,也可以将其保存到hadoop文件系统中。
我该怎么做??
您可以使用spark map函数遍历所有数据,并将其插入到您选择的数据库中。喜欢

statuses.foreach(new VoidFunction<String>() {
        @Override
        public Void call(String s) throws Exception {
            //You Code to parse the String and insert into the database of your choice.
        }
    });

希望有帮助

相关问题