大多数的应用程序将数据存储在关系数据库、xml文件中。对这样的数据进行搜索是很常见的应用。所谓的DataImportHandler提供一种可配置 的方式向solr导入数据,可以一次全部导入,也可以增量导入。
能够读取关系数据库中的数据。
通过可配置的方式,能够将数据库中多列、多表的数据生成solr文档
能够通过solr文档更新solr
提供 通过配置文件就能够导入所有数据的能力
能够配置 “完全导入”和“增量导入”的时间
让读取xml文件,并建立索引成为可配置。
能够将 其他的数据源(例如:ftp,scp,etc)或者其他格式的文档(Json,csv)以插件的形式集成到项目中。
solr提供了2种方式来上传数据:
在solr目录下: solr\example\exampledocs下有一个post.jar,该jar提供了导入相关命令,下面主要记录通过控制台界面或者命令行的方式进行导入配置;
solr 连接数据 需要两个jar
分别是solr连接mysql的Jar,一个是mysql驱动Jar;
进入solr-5.5.0/dist 文件夹中
1)、将solr-dataimporthandler-5.5.4.jar,solr-dataimporthandler-extras-5.5.4.jar拷贝到solr\server\solr-webapp\webapp\WEB-INF\lib目录下;
2)、将mysql-connector-java-5.0.8-bin.jar拷贝到\solr\server\lib目录下;
数据库表结构:
进入solr\server\solr目录创建核心core目录,增加conf和data目录(关于如何新增的可以看之前写的安装配置文档)
在conf中
1、修改solrconfig.xml文件,新增:
<requestHandlername="/dataimport"class="org.apache.solr.handler.dataimport.DataImportHandler">
<lst name="defaults">
<strname="config">data-config.xml</str>
</lst>
</requestHandler>
2、新增data-config.xml文件,内容如下:
<dataConfig>
<dataSource type="JdbcDataSource"driver="com.mysql.jdbc.Driver"url="jdbc:mysql://localhost:3306/solr" user="root"password="root"/>
<document>
<entity name="check_lawyer"
query="select id, name from solr_user">
<field column="id" name="id" />
<field column="name" name="name" />
</entity>
</document>
</dataConfig>
说明:
field区域当中的column对应数据库中的列,而name就是solr中显示的名称。
3、修改managed-schema文件,在最后新增:
<field name="content"type="string" indexed="true" stored="true"multiValued="false"/>
配置完成后,重启solr,选择Dataimport可以看到导入界面:
Solr提供了full-import和delta-import两种导入方式
full-import:
多个entity,每个entity有各自的last_index_time,可以通过dataimporter.entityname.last_index_time来取各自的最后更新时间来进行增量更新。
多个entity时,进行full-import时指明导入某个entity,
http://localhost:8088/solr-platform/zbs-core/dataimport?entity=zcx&command=full-import.会把之前创建的索引通通删除(包括其他ENTITY创建的索引)重新建,,加上参数clean = false;但也会删除相同id的(在scheam.xml的uniqueKey声明的)
delta-import
主要是对于数据库(也可能是文件等等)中增加或者被修改的字段进行导入。主要原理是利用率每次我们进行import的时候在solr.home\conf下面生成的dataimport.properties文件,此文件里面有最近一次导入的相关信息。这个文件如下:
#Tue Jun 06 12:55:58 UTC 2017
last_index_time=2017-06-0612\:55\:57
check_lawyer.last_index_time=2017-06-0612\:55\:57
** **
其实last_index_time是最近一次索引(full-import或者delta-import)的时间。
通过比较这个时间和我们数据库表中的timestamp列即可得出哪些是之后修改或者添加的。
** **
选择Execute之后开始导入,可以选择RefreshStatus状态查看导入状态:
Entity下拉框中可以选择data-config.xml中配置的entity,为空时导入所有entity;
** **
**
**
至此solr连接mysql导入完成,以上是通过平台控制界面来实现导入的,除了界面操作之外还可以使用命令的方式导入,在这里就不细说了,相关可以搜索
localhost:8983/solr/dataimport?command=full-import
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/vtopqx/article/details/73225540
内容来源于网络,如有侵权,请联系作者删除!