如何在nifi中使用udf?

bbuxkriu  于 2021-06-27  发布在  Hive
关注(0)|答案(1)|浏览(472)

我正在尝试加密数据,以便只加密某些列。示例:{col1,col2,col3,col4}=>{col1,encrypted(col2),col3,encrypted(col4)}
如果我的加密过程可以通过使用自定义项来完成,那么我如何在nifi中注册和/或使用自定义项呢?
在hive中,这可以通过首先注册udf来完成,例如:使用jar'hdfs/path/to/jar/.jar'将临时函数udf_name创建为'.efg.udf_class_name';然后执行:从表中选择col1、udf\u name(col2)、col3、udf\u name(col4);
在nifi中,queryrecord允许我对flowfile的内容执行select查询。但是,我不知道如何在nifi中注册udf。
在类似的情况下,是否可以在同一个流文件上执行nifi中的多个sql命令?

oiopk7p5

oiopk7p51#

据我所知,apachenifi不支持udf。但是,如果源数据属于nifi record reader/writer api支持的数据类型,即csv、avro、json等,则可以使用 ConvertRecord 处理器。
配置 ConvertRecordRecord Reader 例如,设置为源数据类型 CSVReader 并设置 Record WriterScriptedRecordSetWriter .
scriptedrecordsetwriter必须使用您选择的脚本语言进行配置:我想clojure和groovy将适用于您的情况。
然后提供脚本在 Script File 或者 Script Body 现场。


相关问题