使用MongoDB Spark Connector，我无法连接到CosmosDB Mongo数据库的变更流。
我尝试使用MongoDB Spark Connector，但如果失败：com.mongodb.spark.sql.connector.exceptions.MongoSparkException: Could not create the change stream cursor.
这个MongoDB开发者社区post提到CosmosDB中没有实现colStats，所以我不能使用Spark连接器。
有没有其他方法可以在Spark中原生地使用Cosmos for MongoDB的变更流，而不涉及任何中间步骤，比如使用feed处理器？
1条答案
按热度按时间8oomwypt1#
MongoDB Spark Connector目前不支持Cosmos DB的变更流，因为Cosmos DB中缺少colStats命令实现。
但是，还有一种替代方法可以在Spark中使用Cosmos DB中的变更流，而无需中间提要处理器。
1.您可以使用Cosmos DB Change Feed feature来侦听更改，并使用Azure函数实时处理这些更改。
1.然后可以将输出发送到Azure Event Hub和consumed by a Spark Streaming job。
与直接使用MongoDB Spark连接器相比，这种方法需要额外的设置和配置。