我在c#中遇到了一个webhdfsclient问题。我尝试在hadoop文件系统中逐个访问文件。它的大小是5gb。
但是,打开文件的可用方法有:
public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path);
public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path, int offset, int length);
如你所见,我需要的两个变量,偏移量和长度是整数。因此,无法检索超过前2gb的部分。
令人惊讶的是,webhdfs rest api提供了:(https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#open)
curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
[&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"
你有没有找到一个在c#中访问超过2gb文件的解决方案?
先谢谢你。
暂无答案!
目前还没有任何答案,快来回答吧!