我希望能够在hdfs文件系统上读/写图像,并利用hdfs的局部性。
我有一个图像的集合,其中每个图像是由
uint16的二维阵列
作为xml文件存储的基本附加信息。
我想在hdfs文件系统上创建一个归档文件,并使用spark分析归档文件。现在我正在努力寻找通过hdfs文件系统存储数据的最佳方法,以便能够充分利用spark+hdfs结构。
据我所知,最好的方法是创建一个sequencefile Package 器。我有两个问题:
创建sequencefile Package 器是最好的方法吗?
有没有人能给我一些例子作为开始?我一定不是第一个需要通过spark读取不同于hdfs上的文本文件的人!
1条答案
按热度按时间fhity93d1#
我找到了一个可行的解决方案:使用pyspark 1.2.0二进制文件就可以了。它被标记为实验性的,但是我能够通过opencv的适当组合来读取tiff图像。
请注意pyspark的帮助: