我想使用全文搜索引擎，我决定成为斯芬克斯。但是我在使用hadoop和大数据平台，sphinx search与mysql db兼容，不能处理大数据。那么，有没有办法将sphinx与hadoop、hdfs或其他nosql数据库等大数据环境结合使用呢？
bnlyeluc1#
好吧，它带有用于从rdbms加载数据的内置驱动程序，但肯定不限于此。对于初学者有'管道'索引选项。。。http://sphinxsearch.com/docs/current.html#xmlpipe2http：//sphinxsearch.com/docs/current.html#xsvpipe它们只是运行一个脚本并对输出进行索引。这个脚本可以从任何可以想象的系统中获取数据。很多项目可以用来开始，例如：https://github.com/georgepsarakis/mongodb-sphinx您还可以直接从hadoop获得csv输出吗？还有实时索引。将数据直接插入索引中。不是hadoopMaven，但理论上，hadoop项目可以将结果直接注入sphinx（outputcommitter？），而不是（或者除了）将结果写入hdfs。http://sphinxsearch.com/docs/current.html#rt-索引可能还可以使用https://www.percona.com/blog/2014/06/02/using-infinidb-engine-mysql-hadoop-cluster-data-analytics/ 作为hadoop和sphinx之间的桥梁(ie sphinx的索引器通过假mysql引擎创建索引）
1条答案
按热度按时间bnlyeluc1#
好吧，它带有用于从rdbms加载数据的内置驱动程序，但肯定不限于此。
对于初学者有'管道'索引选项。。。
http://sphinxsearch.com/docs/current.html#xmlpipe2http：//sphinxsearch.com/docs/current.html#xsvpipe
它们只是运行一个脚本并对输出进行索引。这个脚本可以从任何可以想象的系统中获取数据。
很多项目可以用来开始，例如：https://github.com/georgepsarakis/mongodb-sphinx
您还可以直接从hadoop获得csv输出吗？
还有实时索引。将数据直接插入索引中。不是hadoopMaven，但理论上，hadoop项目可以将结果直接注入sphinx（outputcommitter？），而不是（或者除了）将结果写入hdfs。http://sphinxsearch.com/docs/current.html#rt-索引
可能还可以使用https://www.percona.com/blog/2014/06/02/using-infinidb-engine-mysql-hadoop-cluster-data-analytics/ 作为hadoop和sphinx之间的桥梁(ie sphinx的索引器通过假mysql引擎创建索引）