目前，我正与一个致力于“搜索引擎”的团队合作，特别是与hp idol合作，
我工作的主要思想是找到一个新的开源搜索引擎，这样我就开始使用elasticsearch，但是我仍然有一些问题我找不到解决方案；
我需要把文件索引到elasticsearch的服务器上，
sharepoint
documentum
露天
所以我在网上搜索发现，
talend（无法使用，因为团队不想付款）
apachemanifoldcf（开源但有很多问题）
看到这些问题，我不断地寻找新的解决办法。你能告诉我，如果我有一些可能性，把所有的文件从源到hdfs，然后索引他们所有的elasticsearch与apachespark？我也会感激你所有我从未想过的新技术。
提前谢谢