我在Kafka有一种特殊的信息格式。它们被插入符号分开。现在我要用下面的解析规范来解析这个。
"parser" : {
"type" : "string",
"parseSpec" : {
"timestampSpec" : {
"column" : "datetime",
"format" : "yyyy-MM-dd HH:mm:ss"
},
"dimensionsSpec" : {
"dimensions" : [],
"dimensionExclusions" : [
"datetime"
]
},
"format" : "javascript",
"function" : "function(str) { var parts = str.split('^'); return { key1:parts[0],key2:parts[1],key3:parts[2] } }"
}
},然而，当我插入一行通过Kafka生产者和检查宁静日志。它显示了 droppedCount=1 . 所以它在丢信息。我在浏览器中检查了上面的javascript函数。很好用。这里可能有什么问题？
1条答案
按热度按时间iyfjxgzm1#
我认为它不支持javascript格式。
我的经验是宁静不支持全套Druid配置，而文件中明确提到”
spec-一个没有ioconfig的druid摄取规范”，并链接到druid config文档。我花了那么多时间在非工作特性上。我甚至在调试器中运行了它，单步通过代码来确定。我建议Kafka的扩展最近添加到Druid。你不需要安宁。我相信Druid支持的所有格式都可以使用这种方法。请试一试。
宁静已经很久没有更新了。我建议继续研究Kafka的本土饮食。