我正在构建metrics collector来收集它上运行的所有spark作业的运行状态。mesos apihttp://masterip/frameworks 返回关于所有框架的很多细节,然后我运行http://slaveip/slave(1) /monitor/statistics从每个从属服务器获取每个框架的详细信息,然后将它们关联起来。
这适用于大多数作业,但我有一些作业在提交时根据不同的参数表现不同。它们在mesosgui中显示为相同的框架名称,我不能告诉对方。
有没有办法获得启动作业的详细完整命令?或者其他关于如何告诉他们的想法?
您可以发现有多个具有相同框架名称的示例。因为它们是不同的工作示例。
当我连接到mesos slave时,monitor/statistics没有显示包含所有参数的完整命令,所以我无法判断哪个框架与哪个spark作业示例相关。
{
"executor_id": "0",
"executor_name": "Command Executor (Task: 0) (Command: sh -c '
\"/usr/local...')",
"framework_id": "06ba8de8-7fc3-422d-9ee3-17dd9ddcb2ca-3157",
"source": "0",
"statistics": {
"cpus_limit": 2.1,
"cpus_system_time_secs": 848.689999999,
"cpus_user_time_secs": 5128.78,
"mem_limit_bytes": 4757389312,
"mem_rss_bytes": 2243149824,
"timestamp": 1522858776.20098
}
},
谢谢
暂无答案!
目前还没有任何答案,快来回答吧!