使用hadoop text object tostring()方法

lnlaulya  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(383)

我理解字符串和文本的区别。hadoop中文本和字符串的区别
问题是,如果我们说字符串的最大存储大小是32767字节。

Text t = new Text("Hadoo... 2GB of content");
...
String c = t.toString();

如果“c”有大小限制,它将如何容纳2gb的数据?
我错过了什么?

dvtswwa3

dvtswwa31#

java字符串的最大大小不是32k字节。这是存储所需的大小 Integer.MAX_VALUE 字符,即2^31-1(~20亿),约为4gb(见本文)。
您提到的帖子是指不推荐使用的utf-8类的大小限制,而不是java的string类。
无论如何,如果你需要这么多的空间来容纳一个文本示例,我建议你重新考虑你的算法。正如彼得·劳瑞(peterlawrey)在上述帖子中所说,“我怀疑j·k·罗琳的所有作品都能合二为一。”

相关问题