hive到solr云数据迁移

2lpgd968 于 2021-06-03 发布在 Hadoop

关注(0)|答案(3)|浏览(414)

我的工作在Hive和solr云我必须索引的数据从Hive到solr云，我已经尝试了以下链接，我没有运气http://github.org/chimpler/hive-solr 以及https://github.com/vroyer/hive-solr-search
在这两种情况下，我都得到了存储处理程序的错误
跟随第二个链接时出错

Caused by: java.lang.ClassNotFoundException: org.vroyer.hive.solr.SolrInputFormat

我已经将hive solr*.jar复制到所有主节点和从节点的hive lib和hadoop lib中。
配置了tez的Hive

VERSIONS USING:
HADOOP 2.7.1 (Cluster with 3 slaves and one master)
HIVE 1.2.1
SOLR 5.3.1(Clusterd in 3 pc's)

我想索引Hive数据在solr任何人都可以帮我什么，我在它丢失。

hadoop Hive solr hadoop2 solrcloud

来源：https://stackoverflow.com/questions/33729422/hive-to-solr-cloud-data-migration

3条答案

按热度按时间

x9ybnkn61#

确保检查构建的jar是否包含所需的类，并使用addjar命令显式地将jar添加到类路径中，这将解决问题。

赞(0）回复(0）举报 2021-06-03

z5btuh9x2#

用给定的代码构建jar，并将jar添加到hadoop类路径

赞(0）回复(0）举报 2021-06-03

6tr1vspr3#

还有另一个工具https://github.com/lucidworks/hive-solr 你可以试试。
为了将数据从配置单元迁移到solr，可以创建 solr-table 比如：

hive> CREATE EXTERNAL TABLE solr (id string, field1 string, field2 int)
        STORED BY 'com.lucidworks.hadoop.hive.LWStorageHandler'
        LOCATION '/tmp/solr'
        TBLPROPERTIES('solr.zkhost' = 'zk.host:2181/solr',
                     'solr.collection' = 'collection1',
                     'solr.query' = '*:*');

然后您可以在solr中插入数据，执行类似sql的查询。

INSERT OVERWRITE TABLE solr SELECT b.* FROM books b;

哪里 books 是配置单元中具有相同表架构的另一个表。

赞(0）回复(0）举报 2021-06-03

我来回答

hive到solr云数据迁移

3条答案

相关问题

热门标签

最新问答