我正在探索从spark程序的spark日志中获取数据沿袭信息的方法。
我正在寻找类似kafka主题或表格spark程序读取或写入的信息，这样我们就可以在运行时获得这些信息，并构建端到端的数据移动流。有人探索过这样的框架吗。
当我有信息日志级别设置时，我可以得到关于输入kafka read和表的信息，但是如果数据被发送到kafka topic或输入表read，我就不会得到信息。
谢谢你的帮助。
谢谢和问候。