有没有办法在分布式文件系统上运行spark或flink，比如lustre或hdfs或s3以外的任何东西。所以我们可以使用unix集群创建一个分布式文件系统框架，我们可以在集群模式下而不是独立模式下运行spark/flink吗。
5jdjgkvh1#
您可以使用file:///作为dfs，前提是每个节点都可以访问公共路径，*您的应用程序配置为使用这些公共路径共享源库、源数据、中间数据和最终数据像lustre这样的东西倾向于这样做和/或有一个特定的hadoop文件系统客户端lib来 Package /扩展它。
1条答案
按热度按时间5jdjgkvh1#
您可以使用file:///作为dfs，前提是每个节点都可以访问公共路径，*您的应用程序配置为使用这些公共路径共享源库、源数据、中间数据和最终数据
像lustre这样的东西倾向于这样做和/或有一个特定的hadoop文件系统客户端lib来 Package /扩展它。