webhdfsclient openfile不能超过2gb

lx0bsm1f  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(195)

我在c#中遇到了一个webhdfsclient问题。我尝试在hadoop文件系统中逐个访问文件。它的大小是5gb。
但是,打开文件的可用方法有:

public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path);
    public Task<System.Net.Http.HttpResponseMessage> OpenFile(string path, int offset, int length);

如你所见,我需要的两个变量,偏移量和长度是整数。因此,无法检索超过前2gb的部分。
令人惊讶的是,webhdfs rest api提供了:(https://hadoop.apache.org/docs/r1.0.4/webhdfs.html#open)

curl -i -L "http://<HOST>:<PORT>/webhdfs/v1/<PATH>?op=OPEN
                [&offset=<LONG>][&length=<LONG>][&buffersize=<INT>]"

你有没有找到一个在c#中访问超过2gb文件的解决方案?
先谢谢你。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题