java—将大型json数据源与ApacheFlink和python结合使用(2个问题)

avwztpqn  于 2021-06-25  发布在  Flink
关注(0)|答案(0)|浏览(154)

flink的批处理python api 1.2版支持
读取文本(路径)
读取\u csv(路径,类型)
来自元素(*args)
以及一些特定的数据类型:(int、float、bool、string)和字节数组。
python非常强大,可以通过字典读取json文件 json.load(file) 创建dict类型变量,但据我搜索,flink atm不支持字典操作。
问题num0:那么,除了解析字符串和尝试弄乱正则表达式之外,有没有其他方法可以用flink的PythonAPI处理大型json文件?
我在考虑使用列表和from\元素(*args)来预处理我的json文件。
处理对象似乎也是python+flink的一个问题。
问题num1:切换到java是我的最佳选择吗?
我想有一个简单的方法来处理json数据,以及使用从这些数据派生的对象。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题