lucenet-有hadoop/hdfsdirectory实现吗?

mspsb9vt  于 2021-06-02  发布在  Hadoop
关注(0)|答案(1)|浏览(307)

我想知道是否有一个java实现http://lucene.apache.org/solr/4_7_0/solr-core/org/apache/solr/store/hdfs/hdfsdirectory.html,是否存在类似的.net库?

uqzxnwby

uqzxnwby1#

我必须创建自己的实现,因为我没有找到具体的.net实现。以下是我用来创建hdfs目录的源代码:
根据需要做一个类似于简单文件系统目录的实现 SimpleFSDirectory.cs https://svn.apache.org/repos/asf/lucene.net/tags/lucene.net_3_0_3_rc2_final/src/core/store/
获取最新信息 Microsoft.Hadoop.MapReduce 在codeplex的源代码/dev中找到库http://hadoopsdk.codeplex.com/sourcecontrol/latest#readme.md
使用 IHdfsFile 访问目录。

var client = Microsoft.Hadoop.MapReduce.Hadoop.MakeAzure(...);    
IHdfsFile fs = client.StorageSystem;    
fs.LsFiles(...); // make sure the dir path end with "/"
fs.MakeDirectory(...);    
fs.Exists(...);    
fs.WriteAllBytes(...);    
fs.Delete(...);

使用 HdfsPath.Combine(path1, path2); 创建路径。
注意,azure中hadoop的成本需要至少2个head节点a3和1个+worker节点。。。每月最低成本为714.24美元https://azure.microsoft.com/en-us/pricing/calculator/

相关问题