使用hadoop/hive的管道架构/技术建议

3htmauhk  于 2021-06-02  发布在  Hadoop
关注(0)|答案(0)|浏览(188)

**结束。**此问题不符合堆栈溢出准则。它目前不接受答案。
**想改进这个问题吗?**更新问题,使其成为堆栈溢出的主题。

6年前关门了。
改进这个问题
我的建筑是由几个阶段组成的。

1. ETL putting files on HDFS file system.
2. Hive running sql scripts on top of Hadoop and generating result set table.
3. The table is converted into XML
4. the XML is being uploaded to another location using http post.

我们在配置单元sql和bash脚本上找到了自己的逻辑。不知道这样做对不对。
我正在寻找一个pipleline框架来帮助我确定这个体系结构(java/spring或其他)。
有什么建议吗?举例说明?我试过Pig,但有并发症。
谢谢,雷。

暂无答案!

目前还没有任何答案,快来回答吧!

相关问题