我在本地多节点集群和spark-client（通过snap install spark-client --edge安装）上运行microk8s（通过snap install microk8s --classic安装）。其中两个节点是Windows 11上的WSL2（Ubuntu）。我现在正在添加一台运行Ubuntu节点的笔记本电脑。当我尝试运行spark-client.spark-shell ...时，它将在两个WSL节点上成功启动执行器，但在新的膝上型计算机节点上失败。我知道膝上型计算机节点能够成功运行Pod，因为HDFS Pod在那里成功运行。spark-shell在失败时会立即删除并创建新的pod，因此很难看到错误信息。我能够捕获一个日志，它只有一行：error: unknown command "executor", see 'pebble help'.
我注意到在这些pod的配置中有一个参数：遗嘱执行人所以可能就是这个原因但是为什么一个节点的启动方式会不同呢？
图像是：www.example.com。我可以直接运行它。ghcr.io/canonical/charmed-spark:3.4.0-22.04_edge . I was able to run it directly.
如何解决或进一步排除此问题？
注意：我确实在这里看到了另外两个类似的问题，但是它们没有这个特定的错误消息，所以我认为这个问题是不同的。
更新：我刚刚注意到在节点细节中，sha256在该图像的节点上是不同的。
1条答案
按热度按时间a64a0gku1#
好消息和坏消息。。
我删除了所有节点上的图像
microk8s.ctr images delete ghcr.io/canonical/charmed-spark:3.4.0-22.04_edge迫使它调出最新的
现在所有节点的行为都相同。他们都失败了。我假设上周引入了一些bug。最新的边缘版本是上周（6/8），在我为旧节点拉取映像之后，但在我为新节点拉取映像之前。
神秘解决了，虽然没有解决方案，因为我不能拉一个旧版本通过管理单元，因为它是在同一个频道。我会找到别的东西来用。
提交的错误：https://github.com/canonical/spark-client-snap/issues/68在错误对话中有一个立即的解决方案，尽管听起来他们很快就会有一个修复方案。