我假设我们首先需要将输入数据和代码拉到hpc节点并进行处理。有了这个，我们可以充分利用我们现有的计算资源。我想知道，如果我们只是把代码放在HPC和直接读写数据从/到分布式文件系统，这是在同一个网络与高带宽网卡。这样的话，我觉得网络可能是瓶颈，因为它可能不匹配HPC节点的处理速度。Google和Amazon的HPC云服务是否直接读写其分布式文件系统？请提供一些见解。干杯！
1l5u6lss1#
“我假设我们需要首先将输入数据和代码拉到hpc节点并进行处理。有了这个，我们就可以充分利用我们现有的计算资源。“这是正确的。你最好把你的数据放在处理它的地方。首先从分布式文件系统中提取数据，然后从RAM中进行处理，这将比直接从文件系统中进行处理的性能高得多。显然，这并不总是可能的，例如，您想要处理一个大表，但它比本地内存大。这就是HPC编程技术将帮助您以及利用分布式文件系统的地方。例如，Lustre允许您将数据分布在多个OST上，将元数据分布在多个MDT上，以提高IO性能。
1条答案
按热度按时间1l5u6lss1#
“我假设我们需要首先将输入数据和代码拉到hpc节点并进行处理。有了这个，我们就可以充分利用我们现有的计算资源。“
这是正确的。你最好把你的数据放在处理它的地方。首先从分布式文件系统中提取数据，然后从RAM中进行处理，这将比直接从文件系统中进行处理的性能高得多。显然，这并不总是可能的，例如，您想要处理一个大表，但它比本地内存大。这就是HPC编程技术将帮助您以及利用分布式文件系统的地方。例如，Lustre允许您将数据分布在多个OST上，将元数据分布在多个MDT上，以提高IO性能。