hadoop对云延迟的影响

sgtfey8w  于 2021-05-29  发布在  Hadoop
关注(0)|答案(2)|浏览(256)

我是一个没有云技术的大数据架构师。
我一直在hadoop onpremise工作,我知道服务器位置是一个非常严重的问题,因为它可能会应用更高的延迟。
今天在云上集成了hadoop,我想知道:
如果云提供商(aws、azure…)有没有可能在同一地点提供相同集群的主机以减少延迟?
我们如何管理将大量数据从本地机器传输到云端的延迟?

jrcvhitl

jrcvhitl1#

我认为这应该是服务器故障,而不是堆栈溢出。也就是说,我还是可以帮忙的!
这些云提供商可以选择系统所在的区域。它们不是“本地”的,因为它们位于远程数据中心,但是如果您在同一区域中运行它们,那么它们之间的延迟将比您预期的要快得多。这些公司特别努力(至少在aws的帮助下)实现这一点,这样即使数据不在同一地区,在不同国家之间发送和接收消息的速度仍然非常快,同时保持在他们的网络中。许多人会在aws内部创建vpn,其唯一目的是能够使用他们的网络,因为它们的延迟非常低。
一般来说,您不必担心软件处理延迟之外的延迟。这是使用云提供商的好处之一。

ugmeyewa

ugmeyewa2#

我得到了答案,一些云提供商允许vm位于同一地理区域(因为示例azure提供了选择可用性区域的可能性)。

相关问题