假设我想设置一个kafka源连接器，以便将一些数据从db泵入kafka。现在，假设出于安全原因，我想对数据库中的某些列进行模糊处理（比如，应用哈希函数）。使用kafka connect是否有一种标准的方法来实现这一点，或者我是否必须首先创建私有主题，然后编写一些自定义代码来创建这些主题的公共版本（使用敏感数据的哈希值）？
我知道有转换（maskfield等），但它们似乎都不能解决我的问题。例如，maskfield执行+1-234-567-8987->“--****”之类的操作，我不希望这样，因为我仍然希望为不同的输入值创建不同的条目。
1条答案
按热度按时间mftmpeh81#
kafka connect使编写自己的单消息转换（smt）变得非常方便。如果没有一个默认的转换符合您的目的，那么您可以构建一个定制的转换程序。
本博客介绍了如何构建您自己的，以及github上提供的完整示例：
你需要实施
Transformation<R>并覆盖apply()方法来处理个人相关数据。当您将代码编译为jar并通过
plugin.path在connect worker的属性文件中指定，则可以在连接器属性中配置转换。