我用的是 confluent ,但当我添加 hdfs-sink 连接器,我得到这个错误:
confluent
hdfs-sink
Caused by: java.io.IOException: No FileSystem for scheme: http
有人能帮我吗?
3df52oht1#
hdfs sink connect不适用于http url(如httpfs)。您需要提供一个支持hadoop的兼容文件系统,例如高密度光纤://文件://(将在分布式模式下写入单个连接工作进程上的本地磁盘,仅在独立模式下工作最佳)s3a://(假设类路径上有hadoop aws)wasb://(假设hadoop azure在类路径上)
1条答案
按热度按时间3df52oht1#
hdfs sink connect不适用于http url(如httpfs)。
您需要提供一个支持hadoop的兼容文件系统,例如
高密度光纤://
文件://(将在分布式模式下写入单个连接工作进程上的本地磁盘,仅在独立模式下工作最佳)
s3a://(假设类路径上有hadoop aws)
wasb://(假设hadoop azure在类路径上)