我找不到任何关于使用apache beam进行ElasticSearch的文档更新的文档。apache beam支持ElasticSearch的更新吗?
u0njafvf1#
对于BeamJava,您可以使用ElasticsearchIO。将PCollection写入ElasticSearch的示例:
Beam
Java
PCollection
ElasticSearch
pipeline .apply(...) .apply(ElasticsearchIO.write().withConnectionConfiguration( ElasticsearchIO.ConnectionConfiguration.create("http://host:9200", "my-index", "my-type") )
重要说明,IO不支持update类型操作,write方法允许在Elastic中添加元素。如果必须应用更新操作,则有3种解决方案:
update
write
Elastic
DAG
Dataflow
client
ParDo
BeamPython本机不存在此IO。您可以选中此link以获得Beam中现有IO的列表。
Python
1条答案
按热度按时间u0njafvf1#
对于
Beam
Java
,您可以使用ElasticsearchIO。将
PCollection
写入ElasticSearch
的示例:重要说明,IO不支持
update
类型操作,write
方法允许在Elastic
中添加元素。如果必须应用更新操作,则有3种解决方案:
Elastic
中的最后一个元素。例如,您可以使用DAG
协调器并在Dataflow
作业之后执行服务Elastic
client
与update
方法一起使用,并在ParDo
中使用Beam
Python
本机不存在此IO。您可以选中此link以获得
Beam
中现有IO的列表。