目前,clickhouse将数据存储在/var/lib/clickhouse我读到它不支持深度存储。顺便问一下,它是否在config.xml文件中为hdfs设置了任何配置?
juud5qan1#
hdfs引擎允许通过clickhouse管理hdfs上的数据,从而提供了与apachehadoop生态系统的集成。这个引擎类似于文件和url引擎,但是提供了特定于hadoop的特性。https://clickhouse.yandex/docs/ru/operations/table_engines/hdfs/
mlmc2os52#
将clickhouse datadir存储到hdfs中这是一个非常糟糕的主意;)由于hdfs与posix不兼容,clickhouse在这个部署变体上的速度会非常慢你可以用https://github.com/jaykelin/clickhouse-hdfs-loader 在不久的将来将数据从hdfs加载到clickhousehttps://clickhouse.yandex/docs/en/roadmap/ clickhouse可能会支持Parquet格式来加载数据clickhouse有自己的高可用性和群集化解决方案请阅读https://clickhouse.yandex/docs/en/operations/table_engines/replication/ 以及https://clickhouse.yandex/docs/en/operations/table_engines/distributed/
2条答案
按热度按时间juud5qan1#
hdfs引擎允许通过clickhouse管理hdfs上的数据,从而提供了与apachehadoop生态系统的集成。这个引擎类似于文件和url引擎,但是提供了特定于hadoop的特性。
https://clickhouse.yandex/docs/ru/operations/table_engines/hdfs/
mlmc2os52#
将clickhouse datadir存储到hdfs中这是一个非常糟糕的主意;)
由于hdfs与posix不兼容,clickhouse在这个部署变体上的速度会非常慢
你可以用https://github.com/jaykelin/clickhouse-hdfs-loader 在不久的将来将数据从hdfs加载到clickhousehttps://clickhouse.yandex/docs/en/roadmap/ clickhouse可能会支持Parquet格式来加载数据
clickhouse有自己的高可用性和群集化解决方案请阅读https://clickhouse.yandex/docs/en/operations/table_engines/replication/ 以及https://clickhouse.yandex/docs/en/operations/table_engines/distributed/