将数据从pig加载到elasticsearch

deyfvvtc  于 2021-05-30  发布在  Hadoop
关注(0)|答案(2)|浏览(451)

我有一个由clouderacdh5.3管理的hadoop集群。
我的主机上安装了elasticsearch 1.4.4(10.44.162.169)
我已经下载了marvel插件,因此可以通过以下方式访问我的es:http://10.44.162.169:9200/_plugin/marvel/kibana/index.html#/dashboard/file/marvel.overview.json
我已经通过sense创建了一个名为myindex的索引,其类型名为mytype,以便稍后将数据推入其中。
我也安装了kibana 4并将kibana.yml更改为:


# The host to bind the server to

host: "10.44.162.169"

# The Elasticsearch instance to use for all your queries.

elasticsearch_url: "http://10.44.162.169:9200"

我通过端口5601访问它(10.44.162.169:5601)
现在我想把hdfs中的数据加载到elasticsearch中。
在加载es hadoop jar并将其添加到路径之后。
我就是这样做的:

REGISTER /usr/elasticsearch-hadoop-2.0.2/dist/elasticsearch-hadoop-pig-2.0.2.jar

--load the CDR.csv file
cdr= LOAD '/user/omar/CDR.csv' using PigStorage(';')
AS TRAFFIC_TYPE_ID:int,APPELANT:int,CALLED_NUMBER:int,CALL_DURATION:int,LOCATION_NUMBER:chararray,DATE_HEURE_APPEL:chararray);

STORE cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.PigRunner.run('es.nodes'='10.44.162.169');

当我执行此命令时;这工作很成功!!!
但是,我的眼睛里似乎什么都没有!
1) 当我去访问惊奇漫画,我没有找到任何文件在我的索引!
2)在我的kibana插件中也没有!
3) 再者,当我想查看色调中的原木时,我什么也找不到!
为什么数据不在我的es中推送?
我该怎么做才能把它形象化呢?
为什么我创造的工作是成功的,但没有日志可以看到发生了什么!
有什么帮助吗?谢谢您!

mzaanser

mzaanser1#

我不知道如何使用elasticsearch和hadoop,但是您是否尝试删除run参数的等号(=)周围的单引号?i、 e.:'es.nodes=10.44.162.169'而不是'es.nodes'='10.44.162.169'

eoxn13cs

eoxn13cs2#

尝试以下命令

store cdr INTO 'myindex/mytype' USING org.elasticsearch.hadoop.pig.EsStorage('es.nodes = localhost:9200');

相关问题