转载:ClickHouse表引擎 MergeTree 数据生命周期
-- 设置数据存活时间是 create_time 的三天后
TTL create_time + INTERVAL 3 DAY
-- 设置数据存活时间是 create_time 的三个月后
TTL create_time + INTERVAL 3 MONTH
-- 创建表并设置 TTL 字段
-- create_time 是事件类型的字段,
-- code1 和 code2 均被设置了 TTL,
-- 存活时间为create_time的基础上向后10 秒和 15 秒
CREATE TABLE merge_column_ttl
(
`id` String,
`create_time` DateTime,
`code1` String TTL create_time + INTERVAL 10 SECOND,
`code2` UInt8 TTL create_time + INTERVAL 15 SECOND
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id;
-- 查看表结构
describe merge_column_ttl;
┌─name────────┬─type─────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─────────────────────┐
│ id │ String │ │ │ │ │ │
│ create_time │ DateTime │ │ │ │ │ │
│ code1 │ String │ │ │ │ │ create_time + toIntervalSecond(10) │
│ code2 │ Int32 │ │ │ │ │ create_time + toIntervalSecond(15) │
└─────────────┴──────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────────────────────────┘
-- 写入测试数据
insert into table merge_column_ttl values
('A01',now(),'A01-code1','100'),
('A02',now() + INTERVAL 3 MINUTE,'A02-code1','99');
-- 当差不多过十秒后查看数据
select * from merge_column_ttl;
┌─id──┬─────────create_time─┬─code1─────┬─code2─┐
│ A01 │ 2021-06-23 15:50:17 │ │ 100 │
│ A02 │ 2021-06-23 15:53:17 │ A02-code1 │ 99 │
└─────┴─────────────────────┴───────────┴───────┘
-- 强制触发 TTL 清理
optimize table merge_column_ttl final;
-- 查看测试数据
select * from merge_column_ttl;
┌─id──┬─────────create_time─┬─code1─────┬─code2─┐
│ A01 │ 2021-06-23 15:50:17 │ │ 0 │
│ A02 │ 2021-06-23 15:53:17 │ A02-code1 │ 99 │
└─────┴─────────────────────┴───────────┴───────┘
-- 可以看到测试数据被还原成了 每个字段类型的默认值
修改字段 TTL
alter table merge_column_ttl modify column code1 String TTL create_time + INTERVAL 10 MINUTE;
-- 查看表结构
describe merge_column_ttl;
┌─name────────┬─type─────┬─default_type─┬─default_expression─┬─comment─┬─codec_expression─┬─ttl_expression─────────────────────┐
│ id │ String │ │ │ │ │ │
│ create_time │ DateTime │ │ │ │ │ │
│ code1 │ String │ │ │ │ │ create_time + toIntervalMinute(10) │
│ code2 │ Int32 │ │ │ │ │ create_time + toIntervalSecond(15) │
└─────────────┴──────────┴──────────────┴────────────────────┴─────────┴──────────────────┴────────────────────────────────────┘
想要为整张表设置 TTL,需要在建表时设置表的 TTL 表达式
-- 建表设置表的 TTL
CREATE TABLE merge_table_ttl
(
`id` String,
`create_time` DateTime,
`code1` String TTL create_time + INTERVAL 10 SECOND,
`code2` UInt8
)
ENGINE = MergeTree
PARTITION BY toYYYYMM(create_time)
ORDER BY id
TTL create_time + INTERVAL 15 SECOND;
-- 写入测试数据
insert into table merge_table_ttl values
('A01',now(),'A01-code1','100'),
('A02',now() + INTERVAL 3 MINUTE,'A02-code1','99');
-- 查看数据,这是还没有过期数据
select * from merge_table_ttl;
┌─id──┬─────────create_time─┬─code1─────┬─code2─┐
│ A01 │ 2021-06-23 16:26:12 │ A01-code1 │ 100 │
│ A02 │ 2021-06-23 16:29:12 │ A02-code1 │ 99 │
└─────┴─────────────────────┴───────────┴───────┘
-- 强制清理 TTL 数据
optimize table merge_table_ttl final;
-- 查看数据,这时 code1 有一行数据过期,被还原成默认值
select * from merge_table_ttl;
┌─id──┬─────────create_time─┬─code1─────┬─code2─┐
│ A01 │ 2021-06-23 16:26:12 │ │ 100 │
│ A02 │ 2021-06-23 16:29:12 │ A02-code1 │ 99 │
└─────┴─────────────────────┴───────────┴───────┘
-- 强制清理 TTL 数据
optimize table merge_table_ttl final;
-- 查看数据,这时 A01 这行数据过期已经被删掉
select * from merge_table_ttl;
┌─id──┬─────────create_time─┬─code1─────┬─code2─┐
│ A02 │ 2021-06-23 16:29:12 │ A02-code1 │ 99 │
└─────┴─────────────────────┴───────────┴───────┘
修改表级别的 TTL
alter table merge_table_ttl modify ttl create_time + INTERVAL 15 MINUTE;
如果一张表被设置了 TTL,在写入数据时,会以数据分区为单位,在每个分区目录中生成一个 ttl.txt 的文件
,如 merge_table_ttl 表即被设置了列级别的 TTL 也被设置了表级别的 TTL,那么每个分区目录都会生成 ttl.txt 文
件
cd /var/lib/clickhouse/data/db_merge/merge_table_ttl/202106_1_1_3
[root@node3 202106_1_1_3]# cat ttl.txt
ttl format version: 1
{"columns":[{"name":"code1","min":1624436962,"max":1624436962}],"table":{"min":1624436967,"max":1624436967}}
# 将上面的 json 格式化 并加上描述
# MergeTree 通过 json 结构的数据保存 ttl 的相关信息:
{
"columns": [ # 用于保存 列级别的 TTL 信息
{
"name": "code1",
"min": 1624436962,
"max": 1624436962
}
],
"table": {# 用于保存 表级别的 TTL 信息
"min": 1624436967,
"max": 1624436967
}
}
min 与 max 保存了当前分区内,TTL 指定日期字段的最大值,最小值分别与 INTERVAL 表达式计算后的时间戳。
如果将table 属性中的min 和 max 时间戳格式化,并分别与 create_time 的最大,最小取值作对比。
SELECT
toDateTime('1624436967') AS ttl_min,
toDateTime('1624436967') AS ttl_max,
ttl_min - MIN(create_time) AS expire_min,
ttl_max - MAX(create_time) AS expire_max
FROM merge_table_ttl
Query id: ad5dc6af-1f8c-41a2-829a-802ad702cfbe
┌─────────────ttl_min─┬─────────────ttl_max─┬─expire_min─┬─expire_max─┐
│ 2021-06-23 16:29:27 │ 2021-06-23 16:29:27 │ 15 │ 15 │
└─────────────────────┴─────────────────────┴────────────┴────────────┘
ttl.txt记录的 min,max 值恰好对应 create_time + INTERVAL 15 SECOND 的值。
MergeTree 处理 TTL 的大致逻辑如下:
MergeTree 处理 TTL 的其他事项:
merge_with_ttl_timeout
参数控制,默认 86400 秒,即 1 天,它维护一个专门的 TTL 队列。如果这个时间设置的过小会带来性能损耗。-- 触发一个分区的合并
optimize table table_name
-- 触发所有分区的合并
optimize table table_name final
Clickhouse 提供了控制全局 TTL 任务合并的方法,但是不能按照数据表停起
SYSTEM STOP/START MERGES
版权说明 : 本文为转载文章, 版权归原作者所有 版权申明
原文链接 : https://blog.csdn.net/qq_21383435/article/details/122813582
内容来源于网络,如有侵权,请联系作者删除!