我使用的solr索引大小为2000万个数据。我使用dataimporthandler将数据索引到solr中。现在，由于mysql查询变得非常繁重，需要花费大量的时间来完成完整的索引。请建议一些技术，以加快索引过程。我想在hadoop之类的数据存储中预处理数据，然后从那里建立索引。如果我想存储预处理数据，请建议哪个数据存储是好的。我使用mysql作为主数据库。增量更新在最后一个小时大约是100000。
tzcvj98z1#
首先检查索引是否正确，查询是否使用相同的索引。或者我建议您在当前数据库上进行分区。i、 e.在mysql上使用分区。它将帮助您更快地检索solr的数据。通过分区，它可以帮助您将应用程序的其他部分连接起来，以更快地获取数据。下面是在mysql上实现分区的链接。https://dev.mysql.com/doc/refman/5.1/en/partitioning-overview.htmlhttpshttp://dev.mysql.com/doc/refman/5.1/en/partitioning.html另一个解决方法是以csv格式导出数据，并将其馈送给solr。看看这对你有什么用。正如有人所说，这种机制对他很有效。
1条答案
按热度按时间tzcvj98z1#
首先检查索引是否正确，查询是否使用相同的索引。
或者我建议您在当前数据库上进行分区。i、 e.在mysql上使用分区。
它将帮助您更快地检索solr的数据。
通过分区，它可以帮助您将应用程序的其他部分连接起来，以更快地获取数据。
下面是在mysql上实现分区的链接。
https://dev.mysql.com/doc/refman/5.1/en/partitioning-overview.htmlhttpshttp://dev.mysql.com/doc/refman/5.1/en/partitioning.html
另一个解决方法是以csv格式导出数据，并将其馈送给solr。
看看这对你有什么用。正如有人所说，这种机制对他很有效。