hadoop中的字典理解recordreader

swvgeqrz  于 2021-05-29  发布在  Hadoop
关注(0)|答案(0)|浏览(238)

我是hadoop新手,在尝试学习自定义recordreader时,我有一个疑问,在这里的链接中:这里,作者使用了start-1字符,我知道如果前面分割的最后一行在下一个块中几乎没有字符,这可能是有可能的
我的问题是,如果块大小为128MB,并且行在块中被拆分,那么我们必须注意不要重读或跳过文件内容,但是如何通过从一开始就减少一个字符来实现这一点。
如果有以边界结尾的文件,请在初始化函数期间确认开始变量的值始终为零(对于每个分割)。如果是跨块的行,start-1的值是多少
谢谢

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题