falcon、hadoop核心概念

u2nhd7ah  于 2021-05-30  发布在  Hadoop
关注(0)|答案(1)|浏览(485)

我是一个相当偏向前端的开发人员,所以一些后端奇怪的概念有时我很难理解,特别是在js世界之外(我知道node,express backend)。
我将不得不为falcon-hadoop开发一个前端,ui应该允许创建一个新的feed。应允许用户定义流程工作流,用户必须在创建feed或流程之前定义或创建至少一个集群。
这些是我收到的一些请求
我的问题是:
feed实体的行为类似于文档还是对象?比如说类似于json对象?
集群是不是只是在不同的地方执行不同的任务(我是说在hadoop,falcon的生活方式中)
流程实体只是要在提要实体中执行的任务的生命周期?
而集群实体,仅仅是一组独立的任务?
我知道有一个restapi可以与后端通信,这足以管理feed、集群等吗?还是有局限性?
编辑
对于ysr的回答,我想补充一点,随着时间的推移,我有了更精确的理解,
实体(feed、进程、集群)是以xml格式定义、提交和获取的,实体规范在这里http://falcon.apache.org/entityspecification.html
restapi是http://falcon.apache.org/restapi/resourcelist.html 您可以使用它来管理您的实体生命周期。
从前端的Angular 来看,我不需要知道更多。

9bfwbjaz

9bfwbjaz1#

falcon主要使用三种类型的实体。
1.集群2.feed 3.流程
集群-基本上包含系统范围的属性,如hdfs端点、job tracker端点、yarn端点(如果您使用的是yarn)、oozie端点、activemq端点
提要-与数据相关。feed定义包含数据路径、数据可用性频率、保留和复制详细信息等信息。
进程-与以特定频率运行的作业相关。一个进程将消耗一个或多个提要并生成另一个提要。流程定义将包含诸如作业运行的频率、它将使用的输入范围、它将生成的输出、工作流定义路径等信息。
falcon包含足够的restapi与服务器通信。目前没有这样的限制。如果您找到任何,我们(猎鹰开发)将非常高兴纳入您的变化。

相关问题