我正在尝试使用spark stream从azure宇宙中提取数据。但是在拉取数据时,我遇到了一个问题,即重复密钥“partition\u key”。这是我正在使用的连接详细信息。
在自定义查询中,我甚至没有选择字段分区\u键
错误消息:org.json.jsonexception:org.json.jsonobject.putonce(jsonobject)上的重复键“partition\u key”。java:1076)
val readConfig = Map("endpoint" -> endpoint,
"Masterkey" -> key,
"database" -> database,
"Collection" -> "devices",
"ChangeFeedQueryName" -> changeQueryName,
"ChangeFeedStartFromTheBeginning" -> "true",
"ChangeFeedUseNextToken" -> "true",
"RollingChangeFeed" -> "true",
"ChangeFeedCheckpointLocation" -> "/tmp/cosmos/checkpoint",
"SamplingRatio" -> "1.0",
"ReadChangeFeed" -> "true",
"connectionmode" -> "Gateway",
"query_custom"->"select a,b,d from c")
spark.sql("set spark.sql.caseSensitive=true")
val cosmos_stream = spark.read.format("com.microsoft.azure.cosmosdb.spark").options(readConfig).load
暂无答案!
目前还没有任何答案,快来回答吧!