有人知道从mpi中读/写文件到hdfs的好方法吗？我已经做了大量的挖掘试图弄清楚这一点，只是需要一个大致的方向来追求。
qyzbxkaa1#
mpi标准中有一整章都是关于mpi i/o的。我先从那里开始读。mpi实现通常使用romio实现了这一点。你也可以看看。
cidc1ykv2#
hdfs有一些奇怪之处，使它成为mpi io的一个有趣目标。最重要的是，对来自多个进程的修改（写入）的限制。plfs项目（采用mpi-io风格的“全部写入一个文件”工作负载，并将其更改为“每个进程一个文件”工作负载）似乎已将hdfs作为其目标之一。这篇论文（引用两次）似乎是参考文献？http://www.pdl.cmu.edu/pdl-ftp/hecstorage/cmu-pdl-12-115.pdf所以你有一个mpi-io接口，由romio实现。romio有一个称为adio的设备抽象层，plfs可以是这些底层设备之一（如果你修补它的话）。然后plfs说hdfs，最后执行i/o。我不知道这堆东西有多好！
2条答案
按热度按时间qyzbxkaa1#
mpi标准中有一整章都是关于mpi i/o的。我先从那里开始读。
mpi实现通常使用romio实现了这一点。你也可以看看。
cidc1ykv2#
hdfs有一些奇怪之处，使它成为mpi io的一个有趣目标。最重要的是，对来自多个进程的修改（写入）的限制。
plfs项目（采用mpi-io风格的“全部写入一个文件”工作负载，并将其更改为“每个进程一个文件”工作负载）似乎已将hdfs作为其目标之一。这篇论文（引用两次）似乎是参考文献？http://www.pdl.cmu.edu/pdl-ftp/hecstorage/cmu-pdl-12-115.pdf
所以你有一个mpi-io接口，由romio实现。romio有一个称为adio的设备抽象层，plfs可以是这些底层设备之一（如果你修补它的话）。然后plfs说hdfs，最后执行i/o。
我不知道这堆东西有多好！