hadoop—是否可以将clickhouse数据存储配置为hdfs

bjp0bcyl  于 2021-06-01  发布在  Hadoop
关注(0)|答案(2)|浏览(1040)

目前,clickhouse将数据存储在
/var/lib/clickhouse
我读到它不支持深度存储。顺便问一下,它是否在config.xml文件中为hdfs设置了任何配置?

juud5qan

juud5qan1#

hdfs引擎允许通过clickhouse管理hdfs上的数据,从而提供了与apachehadoop生态系统的集成。这个引擎类似于文件和url引擎,但是提供了特定于hadoop的特性。
https://clickhouse.yandex/docs/ru/operations/table_engines/hdfs/

mlmc2os5

mlmc2os52#

将clickhouse datadir存储到hdfs中这是一个非常糟糕的主意;)
由于hdfs与posix不兼容,clickhouse在这个部署变体上的速度会非常慢
你可以用https://github.com/jaykelin/clickhouse-hdfs-loader 在不久的将来将数据从hdfs加载到clickhousehttps://clickhouse.yandex/docs/en/roadmap/ clickhouse可能会支持Parquet格式来加载数据
clickhouse有自己的高可用性和群集化解决方案请阅读https://clickhouse.yandex/docs/en/operations/table_engines/replication/ 以及https://clickhouse.yandex/docs/en/operations/table_engines/distributed/

相关问题