我有一个Dataproc群集，配置如下：
{
"worker_config": {
"num_instances": 20
},
"secondary_worker_config": {
"num_instances": 10,
"is_preemptible": True
}
# no autoscaling set
}- 我故意省略了主节点详细信息、计算机类型等。*
问题在于，在运行时，Dataproc似乎根本不使用辅助节点：
- 辅助节点在群集的虚拟机列表中没有绿色标记
- 可用内存+已分配内存的总和不包括辅助节点
- Yarn节点管理器的数量为
20，这只是主节点的数量
更重要的是：底层Spark作业的执行时间与20机器集群相当，而且我看不到使用辅助可抢占节点的好处。
谢谢你，谢谢你
1条答案
按热度按时间hc2pp10m1#
一般而言，次要工作者节点是透过受管理的执行严修群组建立的。如果您将次要工作者链接至丛集，但在此情况下并未启动（未执行），则服务账户中可能会有权限问题。
有关详细的故障排除指南，请参阅以下文章https://cloud.google.com/dataproc/docs/concepts/compute/secondary-vms#troubleshooting_secondary_workers