背景:
我在clickhouse中提交了一个本地查询(不使用缓存),它处理了41443万行,42.80gb。查询持续了100多秒。我的clickhouse示例安装在aws上 c5.9xlarge
ec2带
12T st1
ebs公司
在此查询过程中 IOPS
取决于 500
阅读 throughput
取决于 20M/s
. 作为比较, st1
ebs最大值 IOPS
是 500
麦克斯呢 throughput
是 500M/s
.
我的问题是:
做
500 IOPS
实际上限制了我的查询(文件读取)速度(不用管缓存)我应该将ebs卷类型更改为 gp2
或者 io1
增加 IOPS
?
有什么设置可以改进吗 throughput
在相同的条件下 IOPS
? (如我所见,它离天花板很远)我试着增加 'max_block_size'
一次读取更多文件,但似乎不起作用。
如何延长缓存时间?大查询需要几分钟。缓存用了几秒钟。但缓存似乎不会持续很长时间。
我怎样才能热身栏目,以满足所有的要求?请显示SQL。
1条答案
按热度按时间ldioqlga1#
500 iops是否限制了我的查询(文件读取)速度?
对
我是否应该将ebs卷类型更改为gp2或io1以提高iops?
对
在相同的iops下,是否有任何设置可以提高吞吐量?
将最大字节调整为读取
减少列数(在select中)
减少零件数量(在选择中)
如何延长缓存时间?
最小\u合并\u字节\u使用\u直接\u io=1
我怎样才能热身栏目,以满足所有的要求?请显示SQL。
select a,b,c,d from T Format Null