我一直在研究如何用cassandra配置spark jobserver后端(shareddb)。
我在sjs文档中看到,他们引用cassandra作为可以使用的共享数据库之一。
以下是文档部分:
spark jobserver为后端存储提供了多种选项,例如:
h2/postresql或其他sql数据库
Cassandra
sql db或zookeeper与hdfs的组合
但我没有找到任何这样的配置示例。
有人举个例子吗?或者你能帮我配置一下吗?
编辑时间:
我想使用cassandra存储来自spark jobserver的元数据和作业。所以,我可以通过这些服务器后面的代理攻击任何服务器。
1条答案
按热度按时间qvsjd97n1#
以前版本的jobserver支持cassandra。您只需要运行cassandra,就可以为jobserver的配置文件添加正确的设置:https://github.com/spark-jobserver/spark-jobserver/blob/0.8.0/job-server/src/main/resources/application.conf#l60 并具体说明
spark.jobserver.io.JobCassandraDAO
作为道。但是cassandradao最近被弃用并从项目中删除,因为社区并没有真正使用和维护它。