java mongodb hadoop连接器是否有c#等价物？

8dtrkrch 于 2021-06-02 发布在 Hadoop

关注(0)|答案(1)|浏览(325)

我正在玩mobius（spark的c语言绑定）和mongodb的c驱动程序。我的目标是使用mongodb作为c应用程序中spark查询的输入/输出。我知道有一个javamongodbhadoop连接器，但是我想继续使用mobius来编写spark查询。

1条答案

您可以在mobius中使用mongodb spark connector和dataframeapi来查询mongodb。加载数据的代码如下所示

var mongoDbDataFrame = sqlContext.Read.Format("com.mongodb.spark.sql").Load()

加载数据后，可以对Dataframe执行select（）、filter（）操作。您还可以使用下面的代码模板注册dataframe，使其易于使用sql查询

mongoDbDataFrame.RegisterTempTable("MongDbDataFrameTempTable")
sqlContext.Sql("SELECT <columns> FROM MongDbDataFrameTempTable WHERE <condition>")

请注意，您需要在类路径中包含连接器及其依赖项，并且可以使用“-jars”参数。