spark cosmos连接器复制密钥“分区密钥”

rjzwgtxy  于 2021-05-16  发布在  Spark
关注(0)|答案(0)|浏览(347)

我正在尝试使用spark stream从azure宇宙中提取数据。但是在拉取数据时,我遇到了一个问题,即重复密钥“partition\u key”。这是我正在使用的连接详细信息。
在自定义查询中,我甚至没有选择字段分区\u键
错误消息:org.json.jsonexception:org.json.jsonobject.putonce(jsonobject)上的重复键“partition\u key”。java:1076)

val readConfig = Map("endpoint" -> endpoint,
"Masterkey" -> key,
"database" -> database,
"Collection" -> "devices",
"ChangeFeedQueryName" -> changeQueryName,
"ChangeFeedStartFromTheBeginning" -> "true",
"ChangeFeedUseNextToken" -> "true",
"RollingChangeFeed" -> "true",
"ChangeFeedCheckpointLocation" -> "/tmp/cosmos/checkpoint",
"SamplingRatio" -> "1.0",
"ReadChangeFeed" -> "true",
"connectionmode" -> "Gateway",
"query_custom"->"select a,b,d from c")

spark.sql("set spark.sql.caseSensitive=true")
val cosmos_stream =  spark.read.format("com.microsoft.azure.cosmosdb.spark").options(readConfig).load

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题