• 我们需要从文件服务器读取不同的文件。为了实现这一点，我尝试使用来自confluent的kafka连接文件系统连接器，它利用hadoop fs处理文件，并使用sftp协议。我可以连接到远程服务器，读取文件，提取每个记录，并发布到Kafka主题。但是源连接器只能从/home/usr目录读取文件，而不能从任何其他目录读取文件。下面是源连接器配置以及如何配置为从不同的文件夹（如/systemname/domain/inbound）读取。

name=file-stream-demo-standalone
connector.class=com.github.mmolimar.kafka.connect.fs.FsSourceConnector
tasks.max=1
fs.uris=sftp://username:password@hostserver
topic=demo_file_reader_sftp
policy.class=com.github.mmolimar.kafka.connect.fs.policy.SleepyPolicy
policy.fs.fs.sftp.host=hostserver
policy.sleepy.sleep=10000
policy.recursive=false
policy.regexp=^.*\.OUT$
policy.batch_size=0
policy.cleanup=none
file_reader.class=com.github.mmolimar.kafka.connect.fs.file.reader.TextFileReader
file_reader.batch_size=0*