我想知道为什么flink有一个avrokeyvaluesinkwriter，但是没有一个简单的avrosinkwriter具有常规模式（非键值）。我使用它来生成接近流式的avro文件，并每小时将它们批处理一次以生成parquet文件。我用Flink的Flume。键值模式在生成parquet时给了我一些困难，我错过了什么吗？谢谢！
jchrr9hc1#
你在任何事情上都找不到什么帮助。文档依赖于javadoc，示例几乎都是一行程序，比如单词计数和其他无意义的东西。我还没有看到什么“专业”Flink编码器可以做，学习什么是正确的方式做一些最简单的任务。从kafka中读取数据，解析avro或json记录，然后将特定的数据放到文件系统或hdfs中会很好。你找不到这样的例子。你可能会认为，到现在为止，在网上搜索一些可靠而复杂的例子是可行的。这些项目中的大多数都要求您通读所有源代码并尝试找出一种方法。最后，将代码弹射到服务中要比购买flink和某种程度上的spark更容易。祝你好运。
1条答案
按热度按时间jchrr9hc1#
你在任何事情上都找不到什么帮助。
文档依赖于javadoc，示例几乎都是一行程序，比如单词计数和其他无意义的东西。
我还没有看到什么“专业”Flink编码器可以做，学习什么是正确的方式做一些最简单的任务。从kafka中读取数据，解析avro或json记录，然后将特定的数据放到文件系统或hdfs中会很好。你找不到这样的例子。
你可能会认为，到现在为止，在网上搜索一些可靠而复杂的例子是可行的。
这些项目中的大多数都要求您通读所有源代码并尝试找出一种方法。
最后，将代码弹射到服务中要比购买flink和某种程度上的spark更容易。
祝你好运。