我想在用scala编写的nifi定制处理器中创建spark会话，到目前为止，我可以在scala项目上创建spark会话，但是当我在nifi定制处理器的ontrigger方法中添加这个spark会话时，spark会话永远不会被创建，有什么方法可以实现这一点吗？到目前为止，我已经导入了spark核心和spark sql库，任何反馈都将不胜感激
gorkyyrv1#
流文件不可能。句号。你需要Kafka之间的Spark流或Spark结构化流。这里是好的阅读顺便说一句：https://community.cloudera.com/t5/community-articles/spark-structured-streaming-with-nifi-and-kafka-using-pyspark/ta-p/245068
1条答案
按热度按时间gorkyyrv1#
流文件不可能。句号。
你需要Kafka之间的Spark流或Spark结构化流。这里是好的阅读顺便说一句：https://community.cloudera.com/t5/community-articles/spark-structured-streaming-with-nifi-and-kafka-using-pyspark/ta-p/245068