我想知道是否有一个java实现http://lucene.apache.org/solr/4_7_0/solr-core/org/apache/solr/store/hdfs/hdfsdirectory.html,是否存在类似的.net库?
uqzxnwby1#
我必须创建自己的实现,因为我没有找到具体的.net实现。以下是我用来创建hdfs目录的源代码:根据需要做一个类似于简单文件系统目录的实现 SimpleFSDirectory.cs https://svn.apache.org/repos/asf/lucene.net/tags/lucene.net_3_0_3_rc2_final/src/core/store/获取最新信息 Microsoft.Hadoop.MapReduce 在codeplex的源代码/dev中找到库http://hadoopsdk.codeplex.com/sourcecontrol/latest#readme.md使用 IHdfsFile 访问目录。
SimpleFSDirectory.cs
Microsoft.Hadoop.MapReduce
IHdfsFile
var client = Microsoft.Hadoop.MapReduce.Hadoop.MakeAzure(...); IHdfsFile fs = client.StorageSystem; fs.LsFiles(...); // make sure the dir path end with "/" fs.MakeDirectory(...); fs.Exists(...); fs.WriteAllBytes(...); fs.Delete(...);
使用 HdfsPath.Combine(path1, path2); 创建路径。注意,azure中hadoop的成本需要至少2个head节点a3和1个+worker节点。。。每月最低成本为714.24美元https://azure.microsoft.com/en-us/pricing/calculator/
HdfsPath.Combine(path1, path2);
1条答案
按热度按时间uqzxnwby1#
我必须创建自己的实现,因为我没有找到具体的.net实现。以下是我用来创建hdfs目录的源代码:
根据需要做一个类似于简单文件系统目录的实现
SimpleFSDirectory.cs
https://svn.apache.org/repos/asf/lucene.net/tags/lucene.net_3_0_3_rc2_final/src/core/store/获取最新信息
Microsoft.Hadoop.MapReduce
在codeplex的源代码/dev中找到库http://hadoopsdk.codeplex.com/sourcecontrol/latest#readme.md使用
IHdfsFile
访问目录。使用
HdfsPath.Combine(path1, path2);
创建路径。注意,azure中hadoop的成本需要至少2个head节点a3和1个+worker节点。。。每月最低成本为714.24美元https://azure.microsoft.com/en-us/pricing/calculator/