嗯，我的公司正在考虑从hadoop转移到kubernetes。我们可以在kubernetes中找到诸如cassandra、sparks等工具的解决方案，所以最后一个问题是如何在kubernetes中存储大量文件，比如说1pb。仅供参考，我们不想使用s3等在线存储服务。
据我所知，hdfs只在kubernetes中使用，还有一些替代产品，如torus和quobyte。所以我的问题是，对kubernetes上的文件系统有什么建议吗？或者有更好的解决办法？
非常感谢。
嗯，我的公司正在考虑从hadoop转移到kubernetes。我们可以在kubernetes中找到诸如cassandra、sparks等工具的解决方案，所以最后一个问题是如何在kubernetes中存储大量文件，比如说1pb。仅供参考，我们不想使用s3等在线存储服务。
据我所知，hdfs只在kubernetes中使用，还有一些替代产品，如torus和quobyte。所以我的问题是，对kubernetes上的文件系统有什么建议吗？或者有更好的解决办法？
非常感谢。
1条答案
按热度按时间ryevplcw1#
您可以使用hadoop兼容的文件系统，如ceph或minio。它们都提供了与s3兼容的restapi来进行读写。在kubernetes中，可以使用rook项目部署ceph。
但是总的来说，在kubernetes中运行hdfs需要有状态的服务，比如namenode和datanode，它们具有适当的关联性和网络规则。hadoop ozone项目实现了对象存储在微服务工作负载中比hdfs块存储更常见，因为合理地尝试使用分布式微服务分析pb数据是不可行的(我只是猜测）
另一种方法是在hadoop&yarn 3.x中使用docker支持